梯度算法
- 梯度算法公式
其中α 表示速率计算步骤优先从右边计算
注意要保证$\theta_1$和$\theta_0$ 同时计算
For Example：
- 来看一道例题吧
Suppose $\theta_0=1,\theta_1=2$ and we simultaneously update $\theta_0$and $\theta_1$using the rule:$\theta_j := \theta_j + \sqrt{\theta_0 \theta_1}$(for j = 0 and j=1) What are the resulting values of $\theta_0$and $\theta_1$?
假设$\theta_0=1,\theta_1=2$ 我们想同步更新公式：
$\theta_j := \theta_j + \sqrt{\theta_0 \theta_1}$(for j = 0 and j=1)
最后得到$\theta_0,\theta_1$ 的结果是多少
其中对于J($\theta_1$)来说由于只有一个自变量所以偏导等于全导，则$d/d\theta_1J(\theta_1)$等于对$\theta_1$求导数，即红色斜线的斜率，斜率为正时X向原点移动 $J(\theta)$值变小，反之增大符合找到MIN这个目的。
α 是系数用来调整步幅的大小，即$\theta_1$在X轴移动的距离，如果过小$\theta_1$就会移动一小点距离，这样会使得需要很多次才能到达MIN值，反之如果已经很接近Min值的话过大的步幅会使得$J(\theta_1)$ 的值发散不收敛。
如果已经到了MIN值后近一步使用梯度算法会发生什么？
思考过程 ：
如果已经到了最小值那么此时斜率为0，也就是式子会变成$\theta_1:= \theta_1 - 0$即保持$\theta_1$不变所以选A
答案是：A
为什么α设置成任意值梯度算法可以不断的优化？
当你原来越接近Min值的时候斜率自然越来越趋近于0，也就是说梯度算法公式中的
越来越小这将导致X轴的移动距离越来越小，所有梯度算法会自动的优化趋近于最小值。
总结
梯度算法公式是用来使任意函数趋近于最小值的一种方式，当它作用于代价函数的时候就演变成了算法
标签：02,MIN,梯度,趋近,斜率,算法,theta 来源： https://www.cnblogs.com/cc521524/p/15361226.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。