标签：weight decay 公式 回归 损失 算法 地平线 凉经

0.自我介绍
1.介绍了一下在地平线这段时间实习的工作，着重介绍量化算法包的研发。
2.结果噩梦开始了。。。最有用的trick是什么，我说了cos decay，然后怼原理，公式，写出来，画图是什么样的。这里就有点卡住了。
3.给定一个模型的lr，weight decay，之前的权重W和当前的反向传播梯度grad，求出新的W权重。。。写公式，当时不记得怎么把weight decay加上去，位置不知道放在哪里。。。。然后开始说weight decay的原理，过拟合的原理，还给自己挖坑讲了风险最小损失，经验风险损失之类的，但是再细节又不知道了。。。。模型学习的是数据分布，为什么？
4.损失函数的风险写公式。。。。线性回归和逻辑回归的一次损失，二次损失的区别是什么，为什么逻辑回归要用二次损失，细致到逻辑回归的推导过程，写出交叉熵损失函数，为什么要用交叉熵损失函数，先验，后验概率的关系是什么？
5.L1拉普拉斯和L2高斯分布原理解释。
6.从bias和variance的角度去解释L1，L2，一次损失和二次损失。。。。
7.对贝叶斯公式，先验后验的理解。
8.极大似然估计的理解。
9.在地平线实习有什么收获。

总结：全场感觉很难受，因为自己真的对机器学习的数学原理一知半解，很难推完整一个公式，深入下去就不怎么懂了，还没有到达写代码的阶段就结束了。。。。要看PRML了。。。

标签：weight,decay,公式,回归,损失,算法,地平线,凉经
来源： https://blog.csdn.net/u010712012/article/details/100797491

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。