标签：求解 梯度 凸函数 下降 问题 最优化

文章目录

• • • 最优化问题
    • 最优化问题的分类
    • 最优化问题的求解
    • 梯度下降

最优化问题

最优化问题的分类

其实等式约束也可以转换成不等式约束的一种，改变值域即可。

最优化问题的求解

梯度下降

左图即为凸函数，右图为非凸函数。
对于凸函数而言，我们可以设置很多种方法让它在一定的时间内收敛到特定精度的一个最优解。
而非凸函数目前没有特别好的方法。
即：在一般的求解中，我们通常认为函数为凸函数。



即：函数下降最快的方向，就是梯度方向。

与之对应，求解最大值时称之为最速上升法或梯度上升。
梯度下降是一个迭代过程：下一步自变量 = 这一步自变量 - 步长 * 梯度。
以下是梯度下降示意图。

标签：求解,梯度,凸函数,下降,问题,最优化
来源： https://blog.51cto.com/u_15251606/2870665

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。