6-1
三者都是典型的神经网络模型。
卷积神经网络是对前馈神经网络增加卷积层和池化层。
延时神经网络是对前馈神经网络增加延时器。
循环神经网络是对前馈神经网络增加自反馈的神经元。
延时神经网络和循环神经网络是给网络增加短期记忆能力的两种重要方法。
卷积神经网络和循环神经网络的区别在循环层上。
卷积神经网络没有时序性的概念，输入直接和输出挂钩；循环神经网络具有时序性，当前决策跟前一次决策有关。
举个例子，进行手写数字识别的时候，我们并不在意前一个决策结果是什么，需要用卷积神经网络；（图像识别）
而自然语言生成时，上一个词很大程度影响了下一个词，需要用循环神经网络。（自然语言处理）
6-2
推导公式（6.40）和公式（6.41）中的梯度。
基本和（6.39）的公式一致。
主要差别在于Zk对于Uij和Zk对于Wij、Bij的偏导上。
6-3
原因：
其中6.34的误差项为6-2中的德尔塔t,k
解决方法：
增加门控机制，例如：长短期记忆神经网络（LSTM）。
6-4（我透）
推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果。
6-5（我透）
推导GRU网络中参数的梯度，并分析其避免梯度消失的效果。
6-6
增加深度的方法是：增加同一时刻网络输入到输出之间的路径Xt->Yt（Xt->Ht或者Ht->Yt）
常见结构除了堆叠循环神经网络，还有双向循环神经网络、递归神经网络、图神经网络等。
6-7[..]
当递归神经网络的结构退化为线性序列结构时,递归神经网络就等价于简单循环网络
标签：卷积,梯度,前馈,神经网络,循环,增加,习题,邱锡鹏 来源： https://www.cnblogs.com/whyaza/p/15503804.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。