标签：路径 梯度 消失 远距离 缓解 LSTM 遗忘

1 LSTM问什么可以缓解梯度消失

       首先要明确的一点是，LSTM并不能完全解决梯度消失的问题，仅仅只是缓解。
       原始的LSTM是没有遗忘门的，所以$C_t$Ct​的更新如下：
$C_t=C_{t-1}+i_t*\hat C_t$Ct​=Ct−1​+it​∗C^t​
       由此可见$C_t$Ct​对$C_{t-1}$Ct−1​的偏导为常数1,因此有效的缓解了LSTM的梯度消失问题。但是现在用的LSTM加入了遗忘门，使得$C_t$Ct​的更新如下：
$C_t=f_t*C_{t-1}+i_t*\hat C_t$Ct​=ft​∗Ct−1​+it​∗C^t​
       由于$f_t$ft​是由sigmoid函数得来的，而sigmoid函数的范围是（0,1），因此加入了遗忘门之后，可以说又将LSTM的梯度消失的问题有加重了。但是此时的梯度消失，可以解释为网络故意遗忘前面部分。
以下为知乎复制过来的：
       1、首先需要明确的是，RNN 中的梯度消失/梯度爆炸和普通的 MLP 或者深层 CNN 中梯度消失/梯度爆炸的含义不一样。MLP/CNN 中不同的层有不同的参数，各是各的梯度；而 RNN 中同样的权重在各个时间步共享，最终的梯度 g = 各个时间步的梯度 g_t 的和。
       2、由 1 中所述的原因，RNN 中总的梯度是不会消失的。即便梯度越传越弱，那也只是远距离的梯度消失，由于近距离的梯度不会消失，所有梯度之和便不会消失。RNN 所谓梯度消失的真正含义是，梯度被近距离梯度主导，导致模型难以学到远距离的依赖关系。
       3、LSTM 中梯度的传播有很多条路径， 这条路径上只有逐元素相乘和相加的操作，梯度流最稳定；但是其他路径（例如 ）上梯度流与普通 RNN 类似，照样会发生相同的权重矩阵反复连乘。
       4、LSTM 刚提出时没有遗忘门，或者说相当于 ，这时候在 直接相连的短路路径上， 可以无损地传递给 ，从而这条路径上的梯度畅通无阻，不会消失。类似于 ResNet 中的残差连接。
       5、但是在其他路径上，LSTM 的梯度流和普通 RNN 没有太大区别，依然会爆炸或者消失。由于总的远距离梯度 = 各条路径的远距离梯度之和，即便其他远距离路径梯度消失了，只要保证有一条远距离路径（就是上面说的那条高速公路）梯度不消失，总的远距离梯度就不会消失（正常梯度 + 消失梯度 = 正常梯度）。因此 LSTM 通过改善一条路径上的梯度问题拯救了总体的远距离梯度。
       6、同样，因为总的远距离梯度 = 各条路径的远距离梯度之和，高速公路上梯度流比较稳定，但其他路径上梯度有可能爆炸，此时总的远距离梯度 = 正常梯度 + 爆炸梯度 = 爆炸梯度，因此 LSTM 仍然有可能发生梯度爆炸。不过，由于 LSTM 的其他路径非常崎岖，和普通 RNN 相比多经过了很多次激活函数（导数都小于 1），因此 LSTM 发生梯度爆炸的频率要低得多。实践中梯度爆炸一般通过梯度裁剪来解决。
       7、对于现在常用的带遗忘门的 LSTM 来说，6 中的分析依然成立，而 5 分为两种情况：其一是遗忘门接近 1（例如模型初始化时会把 forget bias 设置成较大的正数，让遗忘门饱和），这时候远距离梯度不消失；其二是遗忘门接近 0，但这时模型是故意阻断梯度流的，这不是 bug 而是 feature（例如情感分析任务中有一条样本 “A，但是 B”，模型读到“但是”后选择把遗忘门设置成 0，遗忘掉内容 A，这是合理的）。当然，常常也存在 f 介于 [0, 1] 之间的情况，在这种情况下只能说 LSTM 改善（而非解决）了梯度消失的状况。

标签：路径,梯度,消失,远距离,缓解,LSTM,遗忘
来源： https://blog.csdn.net/guohui_0907/article/details/100030199

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。