标签：Log 梯度 SRTP 2x 网络 更新 回传 20220808 函数

Working Content:

1.测试了原来的函数模型是否使得梯度无法回传

2.重新使用原来框架建立了关于一个简单函数y=-2x+1的模型，并进行拟合

Acquisition:

1.初步认为梯度是没有问题的（理由：使用同一组数据进行操作，发现在用optimizer更新完网络参数之后，输入同一组数据返回的结果不一样（神经网络的输出不一样），这说明网络是在更新的，更换学习率之后更加明显在更新）。

2.如果使用的数据集中x的范围是1到100（比较小），那么网络训练可以顺利进行，并且不管做不做normalization都可以顺利进行。由于我们用的TDTR也是单调递减函数，这个一次函数也是单调递减函数，那么normalization之后得到的结果也是一样的，如果没有出现其他问题，那么我们的函数也应当训练成功。

Problem:

1.不是很确定如果梯度无法回传，网络是否会更新？我认为是不会更新的，因此我们的梯度应该是可以回传的

2.数据集的问题：思考一下如何调整梯度的问题，对于y=-2x+1来说，是loss太大的问题，导致出现inf和nan。那对于自己的函数又是什么情况，需要思考

标签：Log,梯度,SRTP,2x,网络,更新,回传,20220808,函数
来源： https://www.cnblogs.com/Hexh/p/16562714.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。