ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

学习率

2020-07-14 19:33:02  阅读:339  来源: 互联网

标签:函数 decay 学习 最小值 设置 收敛


1. 学习率:

  学习率(Learning rate)作为监督学习以及深度学习中重要的超参,其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。

 

2. 学习率举例:

  这里以梯度下降为例,来观察一下不同的学习率对代价函数的收敛过程的影响(这里以代价函数为凸函数为例):
  回顾一下梯度下降的代码:
      

  当学习率设置的过小时,收敛过程如下:

  

 

   当学习率设置的过大时,收敛过程如下:

 

  

 

 

   因此可知,当学习率设置的过小时,收敛过程将变得十分缓慢。而当学习率设置的过大时,梯度可能会在最小值附近来回震荡,甚至可能无法收敛。

 

3. 学习率的调整:

选择一个合适的学习率,对于模型的训练将至关重要。下面来了解一些学习率调整的方法:

2.1 离散下降(discrete staircase)

  对于深度学习来说,每 t 轮学习,学习率减半。对于监督学习来说,初始设置一个较大的学习率,然后随着迭代次数的增加,减小学习率。

2.2 指数减缓(exponential decay)

  对于深度学习来说,学习率按训练轮数增长指数差值递减。例如:

 

 

  又或者公式为:

 

 

 

  其中epoch_num为当前epoch的迭代轮数。不过第二种方法会引入另一个超参 k 。

2.3 分数减缓(1/t decay)

  对于深度学习来说,学习率按照公式      变化, decay_rate控制减缓幅度。

 

标签:函数,decay,学习,最小值,设置,收敛
来源: https://www.cnblogs.com/skzxc/p/13301070.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有