标签：will 惩罚 梯度 模型 penalty L2 DeepL more

penalty机制中有L2范数的penalty，它长这个样子：

 E是指一次前向计算， 输入与输出之间的 误差。后面的一部分就是L2 penalty。

现在让我们来看看C对某个参数W_i求导的结果：

如果我们更新梯度的话：

 从上面的一个式子我们可以看出，w若越大，那么w衰减越厉害。（梯度始终为正数）

下面来说说为什么w不能很大：

w越大，模型就会越激进，它会不遗余力的去拟合训练集，所以会学习到一些对预测没用的东西。

The more big weights we have, the more active our neurons will be. They will use that additional power to fit the training data as closely as possible. As a consequence, they are more likely to pick up more of the random noise.

　　　　激进的模型　　　　　　　　　　中庸的模型　　　　　　　　　　  摆烂的模型

本文截图均来自此文：

Weight Decay in Neural Networks - Programmathically

标签：will,惩罚,梯度,模型,penalty,L2,DeepL,more
来源： https://www.cnblogs.com/hisi-tech/p/16148618.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。