超松弛迭代法
【简介-源自百度百科】
D. M. Young于20世纪70年代提出逐次超松弛(Successive Over Relaxation)迭代法，简称SOR方法，是一种经典的迭代算法。它是为了解决大规模系统的线性等式提出来的，在GS法基础上为提高收敛速度，采用加权平均而得到的新算法。由于超松弛迭代法公式简单，编制程序容易，很多工程学、计算数学中都会应用超松弛迭代方法。使用超松弛迭代法的关键在于选取合适的松弛因子，如果松弛因子选取合适，则会大大缩短计算时间。
为解决实际问题中大维数线性代数方程组的求解问题，提出了许多迭代法。但大多数迭代法不是对各类线性方程组都有收敛性。在解题时，对原方程组矩阵作一根本的变换，从而可能使条件数变坏，也可能破坏了变换前后方程组的等价性，以及丧失使原方程组的对称性等。通过对GS法进行改进，从而产生了逐次超松弛(SOR)迭代法。
SOR方法的思路为：如果能够简单有效地确定单个样本加入样本集后对训练结果的影响，一方面，出现新的样本时可以利用原来的一训练结果而不必重新开始；另一方面，让训练样本逐个进入样本集可以简化寻优过程，提高算法速度。这实际上是将样本集中的样本数减少到一个。
对于逐次超松弛迭代法，松弛因子的选取对算法的收敛速度有很大影响，通常对于方程组Ax=Y，若A为正定矩阵，则当0< <2时，逐次超松弛迭代恒收敛。
逐次超松弛迭代法与Jacobi迭代法、Seidel迭代法等相比收敛速度较快。由逐次超松弛迭代法求出的方程组的数值解具有较高的精确性。逐次超松弛迭代法可以大大减少计算量和计算机的内存储量，从而提高计算效率。逐次超松弛迭代法可以广泛地应用于实际，如支持向量机算法中求最大分类间隔的二次规划问题、解高阶稀疏线性方程组等
超松弛迭代法的定义
收敛性判别条件
例题
标签：松弛,方程组,样本,数值,算法,逐次,迭代法 来源： https://blog.csdn.net/ITGGU/article/details/122169348
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。