参数优化方案
w参数的调整方向和幅度？
梯度下降法指导w的调参
比如图中，w1往小调整，w0往大调整，才能使得误差函数向极小值方向走
上图可以拆解为两个图，一个是w0与J的图，一个是w1与J的图。以w0与J的图距离说明
由于误差函数是凹函数，如下图，
在极小值左侧，导数小于0；
在极小值右侧，导数大于0
如果导数小于0，w点应该往大调整；
如果导数大于0，w点应该往小调整
w0调整的公式为：
阿尔法是学习率
导数的正负决定了w参数的调整方向
阿尔法决定了w调整的步长
阿尔法是调参工程师需要调整的
w1 调整的公式为
为什么叫梯度下降法？
梯度总是指向函数变大的方向，而w参数调整的方向是与梯度的方向相反的，所以叫梯度下降法
几个问题来更深入的理解
1、可否等价于这样？
假设阿尔法等于10 ，刚开始w偏大，往小调。调完又偏小，又往大调到原来位置，来回震荡，直到大于迭代次数终止，但是这样调整，不能满足需要调整到误差最小的位置
为什么调整 阿尔法乘以导数呢
导数1 的绝对值 大于 导数2 的绝对值
2、如果阿尔法调的很大好不好？
不好，盘旋上升
3、误差函数能不能不平方而取绝对值？
1点45分
标签：导数,梯度,阿尔法,算法,w1,w0,线性,调整 来源： https://www.cnblogs.com/xiyouzhi/p/12852075.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。