迭代更新数学公式推导过程
1、牛顿法
首先对于有n个变量的函数的一阶导数为：
其次对于其二阶导数为：
之后关于目标函数的包含二阶导数的泰勒展开式为：
这时将
看成
的函数，则根据函数的最小值性质，当偏导数等于0时出取得，从而得到
，所以
，根据等式的特点得到，只有两者都取0时才能使等式等于0，所以得：
（最小值）
故牛顿法的迭代公式为：
2、梯度下降法
在开始推导之前，来介绍一下一个概念：梯度（当前函数位置的导数），同时它也表示某一函数在该点处的方向导数沿着该方向取得较大值。
梯度：
之后这里给出一阶泰勒展开式
由于
都是矢量，则
也是矢量，则根据矢量与向量的关系，这时我们可以用一个单位向量V（下一步将要变化的方向）与标量的乘积来表示：
，而
便是我们所说的步进长度。这时
表达式为：
又由我们的目的出发，所以可以我们希望通过这个迭代变化使
比
小，以此达到最小值。所以由公式
，当梯度方向
与
成反方向时，能最大程度的朝着局部下降的方向变化，使
取得最大值。根据
与
的数学关系，这时可以得出
与
的计算关系：
（一般情况，单位向量都是正向的）
与
（由于是标量，可以把它与步进长度合到一起）
故梯度下降法的迭代公式为：
标签：数学公式,函数,迭代,最小值,梯度,导数,推导 来源： https://www.cnblogs.com/Justina/p/11624672.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。