这篇文章是我学习 软件架构与中间件 课程时分享的论文。可以说，这篇文章塑造了我基本的科研观，也养成了我如今看论文的习惯。感谢老师们，也感谢恒恒对我的帮助。 论文地址： https://ieeexplore.ieee.org/document/8417151 一、 对问题的概述 1.1. 基本概念 架构腐化（architectural d
日志 import logging from logzero import logger logzero.loglevel(logging.DEBUG) logdir = os.path.join(args.output_dir, "logs") os.makedirs(logdir, exist_ok=True) logzero.logfile(os.path.join(logdir, f"bert_{int(time.time())}.log"))
0.自我介绍 1.介绍了一下在地平线这段时间实习的工作，着重介绍量化算法包的研发。 2.结果噩梦开始了。。。最有用的trick是什么，我说了cos decay，然后怼原理，公式，写出来，画图是什么样的。这里就有点卡住了。 3.给定一个模型的lr，weight decay，之前的权重W和当前的反向传播梯度grad
指数衰减学习率是先使用较大的学习率来快速得到一个较优的解，然后随着迭代的继续,逐步减小学习率，使得模型在训练后期更加稳定。在训练神经网络时，需要设置学习率（learning rate）控制参数的更新速度，学习速率设置过小，会极大降低收敛速度，增加训练时间；学习率太大，可能导致参数在最优解两侧来
在TensorFlow的优化器中， 都要设置学习率。学习率是在精度和速度之间找到一个平衡： 学习率太大，训练的速度会有提升，但是结果的精度不够，而且还可能导致不能收敛出现震荡的情况。 学习率太小，精度会有所提升，但是训练的速度慢，耗费较多的时间。 因而我们可以使用退化学习率，又称为衰减学习率
1.tf.clip_by_value（）#将张量中的数字限定在一定的范围内 tf.clip_by_value（y , le-10, 1.0） 2.矩阵元素相乘 * 矩阵相乘 tf. matmul （v1,v2） 3.H(p , q) =-_Lp(x)log q(x) #交叉熵 代表p和q的之间的距离，相聚越近，距离越近。 分类问题用交叉熵，回归问题用均方误差 cross entropy= tf.n
