标签：mathbf 梯度 beta 算法 深度 np aligned 优化 gamma

1 梯度下降

为什么梯度下降算法可以优化目标函数？
考虑一类连续可微实值函数\(f: \mathbb{R} \rightarrow \mathbb{R}\)，
利用泰勒展开，我们可以得到

\[f(x + \epsilon) = f(x) + \epsilon f'(x) + \mathcal{O}(\epsilon^2). \]

\[f(x - \eta f'(x)) = f(x) - \eta f'^2(x) + \mathcal{O}(\eta^2 f'^2(x)). \]

\[f(x - \eta f'(x)) \lessapprox f(x). \]

这意味着，如果我们使用

\[x \leftarrow x - \eta f'(x) \]

来迭代\(x\)，函数\(f(x)\)的值可能会下降。

因此，在梯度下降中，我们首先选择初始值\(x\)和常数\(\eta > 0\)，
然后使用它们连续迭代\(x\)，直到停止条件达成。
例如，当梯度\(|f'(x)|\)的幅度足够小或迭代次数达到某个值时。

标签：mathbf,梯度,beta,算法,深度,np,aligned,优化,gamma
来源： https://www.cnblogs.com/caolanying/p/16700199.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。