标签：总结 特征 解决方案 归一化 学习 神经网络 深度 我们

训练深度神经网络是一项具有挑战性的任务。多年来，研究人员提出了不同的方法来加速和稳定学习过程。归一化是一种被证明在这方面非常有效的技术。

在这篇文章中，我将使用类比和可视化的方式来回顾这些方法中，这将帮助您了解它们的产生的原因和思维过程。

为什么要归一化？

例如，我们现在用两个特征构建一个简单的神经网络模型。这两个特征一个是年龄：范围在 0 到 65 之间，另一个是工资：范围从 0 到 10 000。我们将这些特征提供给模型并计算梯度。

不同规模的输入导致不同的权重更新和优化器的步骤向最小值的方向不均衡。这也使损失函数的形状不成比例。在这种情况下，就需要使用较低的学习速率来避免过冲，这就意味着较慢的学习过程。

所以我们的解决方案是输入进行归一化，通过减去平均值(定心)并除以标准偏差来缩小特征。

此过程也称为“漂白”，处理后所有的值具有 0 均值和单位方差，这样可以提供更快的收敛和更稳定的训练。

这是一个很好的解决方案，那么为什么我们不规范化网络中每一层的激活呢？

下面我们先看一下针对于激活的归一化方法

Batch Normalization

完整文章：

https://www.overfit.cn/post/2d2ef85336784abb895a2d6937ac7bad

标签：总结,特征,解决方案,归一化,学习,神经网络,深度,我们
来源： https://www.cnblogs.com/deephub/p/16197888.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。