标签：公式 各层 传播 算法 反向 https 对角 com

一、公式定义

举例：

 

二、推导过程

 （1）求解第k层的参数：

注：loss表示误差，由误差函数作用于神经网络最后一层输出值和真实值而得出。

 将参数表示为矩阵：

注：另外一些文章的W^k可能是这种表示方式的转置。

 则：

（a⁰即为输入层x⁰）（公式1）

（公式2）

显然，a^k-1在前向传播过程中已经得到，要求出第k层的W和b，我们很自然地想到要求出第k层的δ。

（2）求解

 （公式3）

注：diag((γ^k)^T)即以γ^k为对角元素的对角矩阵。

三、算法流程

可以直接求出最后一层的δ，然后根据公式3依次求出前面各层的δ。根据公式1,2求出各层的W和b。

假设最后一层（输出层）的上标为K（省略了前向传播过程）。

注：个人认为流程中的第2步和第3步不能颠倒顺序。

推荐：

https://zhuanlan.zhihu.com/p/25609953（详细推导）

https://www.cnblogs.com/jsfantasy/p/12177216.html（算法实现）

 

标签：公式,各层,传播,算法,反向,https,对角,com
来源： https://www.cnblogs.com/lihanlihan/p/15821842.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。