1.RNN导出案例---Neural network needs memory
加入记忆元素的案例：
2.RNN的结构
当神经网络有了记忆后，由于存储在memory中的值不同，模型的输出也会不同。
当然，RNN的结构可以是深层的。
3.Bidirectional RNN 双向的循环神经网络
双向RNN的优点：例如填写完形填空时，读了这个句子中挖空前的所有词汇(X1,X2,...Xt-1)，也读了挖空后的所有词汇(Xt+1,...Xtn),可以理解为读了整个句子，再去做填空
4.Long Short-term Memory(LSTM) 长短时记忆网络
LSTM执行的具体过程图如下所示：
sigmoid 函数及其图像：
下图中，f(zi) 是一个激活函数，通常使用sigmoid函数，取值在0-1之间
g(z)*f(zi) :若f(zi)=0 ，则不输入z,若f(zi)=1,则输入z
计算案例分析：
下图中输入第1组(x1,x2,x3)=(3,1,0)
下图输入第2组(x1,x2,x3)=(4,1,0)
下图输入第3组(x1,x2,x3)=(2,0,0)
下图输入第4组(x1,x2,x3)=(1,0,1)
下图输入第5组(x1,x2,x3)=(3,-1,0)
此时遗忘门的f(zf)=0，则遗忘门中原来存储的值7会被清洗掉
总结：其实可以将一个LSTM看成一个神经元neural
另一种解释：
下图是对上面计算过程的逻辑归纳图
下图中zf,zi,z,zo均是向量
表示乘法，
表示加法
LSTM结构的连接图：
现在说利用RNN,一般都在使用LSTM.
现在集成的开发框架都支持LSTM、GRU等网络结构。
标签：01,zi,04,x2,x3,LSTM,下图,RNN 来源： https://www.cnblogs.com/luckyplj/p/13125535.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。