标签：smoothing Label 网络 Smoothing factor label

label Smothing相较交叉熵函数引入了一个factor机制，一般取0.1，它的好处就是：

• 使用了Label Smoothing损失函数后，在训练阶段预测正确时 loss 不会下降得太快，预测错误的時候 loss 不会惩罚得太多，使其不容易陷入局部最优点，这在一定程度可以抑制网络过拟合的现象。
• 对于分类类别比较接近的场景，网络的预测不会过于绝对，在引入Label Smoothing技巧后，通过分配这些少数的几率也可以使得神经网络在训练的时候不这么绝对。

• 在实际调参的一些经验分享如下：

  • 不管是在object detection的分类网络或者是多分类网络导入label smoothing皆有不错的效果，基本上算轻松又容易提升准确度的做法
  • 当数据量足够多的时候，Label smoothing这个技巧很容易使网络变得欠拟和。
  • factor通常设置为0.1，之前做对比实验试过使用0.2，0.3等参数，会发现皆无较好的效果，反而使网络变得难以收敛。
  • 可以利用label smoothing的特性来做点微小的改动，比如遇上相似类型的事物时，可以将factor分配给相似的类别，而不是全部类别，这通常会有不错的效果
  • 2022-06-3011:39:47

 

笔记来自：模型优化之Label Smoothing - 知乎 (zhihu.com)1

标签：smoothing,Label,网络,Smoothing,factor,label
来源： https://www.cnblogs.com/Hi-U/p/16426352.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。