本篇是机器学习小组第五周的学习内容，内容主要摘录自以下学习链接：
降低损失 (Reducing Loss)：梯度下降法
https://developers.google.cn/machine-learning/crash-course/reducing-loss/gradient-descent?hl=zh_cn
机器学习必备的数学知识，一次学会
https://gitbook.cn/books/5dc2c4067b9430477fe5961c/index.html
【数据科学家学习小组】之机器学习（第一期）第五周（20191201-20191208)
https://mp.weixin.qq.com/s/UN3p9ArkkGkFOOGIUc_BYw
1.梯度下降法理解
梯度下降法是求救函数极值的算法。从求解函数极值的过程看，假设需要求解下面函数的极值：
则可以使用代数法和求导法实现。通过代数法，我们将上述函数转换为：
我们保证
取得最小值即可取得整个函数的极值。所以x=-1.通过求导法，我们得到：
同理x=-1时方程满足，函数求解。但如果函数变为：
函数中出现了指数项，则代数法不再适用。通过求导：
但仍然无法直接计算x。所以这里需要借助梯度下降法求解。那么什么是梯度？
- 梯度表示函数变化率最快的方向
- 梯度是一阶偏导组成的向量
函数
的梯度定义式即为：
那么梯度下降法到底是什么？
- 通过导数绝对值的大小，可以判断距离的远近。
- 根据导数的正负号，可以判断最小值的坐标是在左边还是右边。
TODO
2.梯度下降法可视化
TODO
3.随机梯度下降
TODO
标签：cn,梯度,下降,TODO,极值,函数 来源： https://www.cnblogs.com/favor-dfn/p/12005368.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。