标签：白化 梯度 BN 笔记 学习 偏移 BatchNorm cv 输入
1 存在的问题
在两层深度网路中，作为第二层的输入的第一层输出会被参数影响从而无法保持稳定的分布，影响学习效果，导致不能设定较大的学习率以及需要精巧的初始化手段
我们把这个问题叫做内部协变量偏移
2针对内部协变量偏移
传统手段：白化，但是会带来梯度爆炸的问题，因为偏移b无法影响白化后的输入值，即b可能朝着一个方向无限增大或减小，但是不影响白化后的输入值x，这就导致了梯度爆炸
传统白化手段的问题在于没有考虑整个输入数据集，求解对应的Jacobians需要计算x与整个数据集的偏导数
3利用Mini-Batch统计的均值和方差
算法1
反向传播:
3.1BN网络训练及推断
3.2BN化卷积神经网络
3.3BN能够使用高学习率
3.4BN正则化
在使用BN层可以替代DropOut的作用
标签：白化,梯度,BN,笔记,学习,偏移,BatchNorm,cv,输入 来源： https://www.cnblogs.com/zhouyu0-0/p/11778064.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。