标签：输出 5.2 loss 李宏毅 模型 标准化 学习 mu sigma

4.classification

分类模型的输出

若是将不同分类编号作为真值，可能让模型误认为相邻的分类是相近的，因此使用向量表示不同类别。


模型最后的输出值需要softmax处理，使得输出值落在0-1区间。softmax和标准化类似。

分类模型loss function

分类模型的loss通过cross-entropy计算，因为传统的均方根方法在loss大值区斜率过于平坦，训练时容易卡住。

5.feature normalization

让不同维度的特征标准化，更利于loss的收敛。


各layer的输出也要进行标准化，与输入时各个feature在各自维度上标准化不同，layer的输出需要一起标准化。


这种将所有input共同标准化的方法，使得除了本身的网络，还有另一个“巨大的网络”来计算\(\mu\)和\(\sigma\)。另外为了避免各输出平均值为0带来的限制，在训练后期可以引入参数\(\beta\)和\(\gamma\)。

在实际testing过程中，我们可能等不到样本够一个batch就运行，那该如何计算\(\mu\)和\(\sigma\)呢？在训练过程中，我们可以使用先前计算好的\(\mu\)和\(\sigma\)的平均值。

标签：输出,5.2,loss,李宏毅,模型,标准化,学习,mu,sigma
来源： https://www.cnblogs.com/ColtranePicnic/p/15042272.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。