标签：layer partial frac 传播 算法 反向 delta output 隐藏

目录

• Chain rule
• Multi-output Perceptron
• Multi-Layer Perceptron

Chain rule

Multi-output Perceptron

Multi-Layer Perceptron

• 对于多隐藏层结构的神经网络可以把隐藏层的节点看成输出层的节点

• For an output layer node \(k\in{K}\)

\[\frac{\partial{E}}{\partial{W_{jk}}}=O_j\delta_k,\,\delta_k=O_k(1-O_k)(O_k-t_k) \]

• For a hidden layer node \(j\in{J}\)

\[\frac{\partial{E}}{\partial{W_{ij}}}=O_i\delta_j,\,\delta_j=O_j(1-O_j)\sum_{k\in{K}}\delta_kW_{jk} \]

• 其中\(\delta_k\)可以看做是\(O_j\)的信息；\(\delta_j\)可以看做是\(O_i\)的信息
• 并且下一层的隐藏层偏微分的更新都基于上一隐藏层的偏微分

标签：layer,partial,frac,传播,算法,反向,delta,output,隐藏
来源： https://blog.51cto.com/u_13804357/2709152

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。