标签：right frac 权重 L2 w2 w1 深度 mathcal 衰减
文章目录
引入
本文介绍应对过拟合的常用方法：权重衰减 (weight decay)
参考文献：李沐、Aston Zhang等老师的这本《动手学深度学习》一书。
1 方法
权重衰减等价于 L 2 L_2 L2范数正则化 (regularization)。正则化通过为模型损失函数添加惩罚项，使得学出的模型参数值较小。
1.1 L 2 L_2 L2范数
L
2
L_2
L2正则化在模型原损失函数基础上添加
L
2
L_2
L2范数惩罚项，从而得到训练所需的最小化函数。
L
2
L_2
L2范数惩罚是指：模型权重参数每个元素的平方和与一个正的常数的乘积。以线性回归中的线性回归损失函数为例：
ℓ
(
w
1
,
w
2
,
b
)
=
1
n
∑
i
=
1
n
1
2
(
x
1
(
i
)
w
1
+
x
2
(
i
)
w
2
+
b
−
y
(
i
)
)
2
\ell\left(w_{1}, w_{2}, b\right)=\frac{1}{n} \sum_{i=1}^{n} \frac{1}{2}\left(x_{1}^{(i)} w_{1}+x_{2}^{(i)} w_{2}+b-y^{(i)}\right)^{2}
ℓ(w1,w2,b)=n1i=1∑n21(x1(i)w1+x2(i)w2+b−y(i))2
w 1 ← ( 1 − η λ ∣ B ∣ ) w 1 − η ∣ B ∣ ∑ i ∈ B x 1 ( i ) ( x 1 ( i ) w 1 + x 2 ( i ) w 2 + b − y ( i ) ) w 2 ← ( 1 − η λ ∣ B ∣ ) w 2 − η ∣ B ∣ ∑ i ∈ B x 2 ( i ) ( x 1 ( i ) w 1 + x 2 ( i ) w 2 + b − y ( i ) ) \begin{array}{l} w_{1} \leftarrow\left(1-\frac{\eta \lambda}{|\mathcal{B}|}\right) w_{1}-\frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} x_{1}^{(i)}\left(x_{1}^{(i)} w_{1}+x_{2}^{(i)} w_{2}+b-y^{(i)}\right) \\ w_{2} \leftarrow\left(1-\frac{\eta \lambda}{|\mathcal{B}|}\right) w_{2}-\frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} x_{2}^{(i)}\left(x_{1}^{(i)} w_{1}+x_{2}^{(i)} w_{2}+b-y^{(i)}\right) \end{array} w1←(1−∣B∣ηλ)w1−∣B∣η∑i∈Bx1(i)(x1(i)w1+x2(i)w2+b−y(i))w2←(1−∣B∣ηλ)w2−∣B∣η∑i∈Bx2(i)(x1(i)w1+x2(i)w2+b−y(i))
标签：right,frac,权重,L2,w2,w1,深度,mathcal,衰减 来源： https://blog.csdn.net/weixin_44575152/article/details/110789160
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。