使用autograd来自动求导 在机器学习中，我们通常使用梯度下降来更新模型参数从而求解。损失函数关于模型参数的梯度指向一个可以降低损失函数值的方向，我们不断地沿着梯度的方向更新模型从而最小化损失函数。虽然梯度计算比较直观，但对于复杂的模型，例如多达数十层的神经网络，手动计算梯
文章目录4.1 nn.Module4.2 常用的神经网络层4.2.1 图像相关层4.2.2 激活函数4.2.3 循环神经网络4.2.4 损失函数4.3 优化器4.4 nn.functional4.5 初始化策略4.6 nn.Module 深入分析4.7 nn和autograd的关系4.8 小试牛刀: 用50行代码搭建 ResNet autograd 实现了自动微分系统，
转自：https://oldpan.me/archives/careful-train-loss-nan-inf 前言 训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况： 遇到这样的现象，通常有以下几个原因导致： 梯度爆炸造成Loss爆炸 原因很简单，学习率较高的情况下，直接影响到每次更新值
Tensor """ Tensor又名张量,读者可能对这个名词似曾相识，因它不仅在PyTorch中出现过，它也是Theano、TensorFlow、 Torch和MxNet中重要的数据结构。 关于张量的本质不乏深度的剖析，但从工程角度来讲，可简单地认为它就是一个数组，且支持高效的科学计算。 它可以是一个数（标量）、一维
y.grad_fn.saved_variables AttributeError Traceback (most recent call last) <ipython-input-21-eceb35361ea8> in <module> 1 #使用retain_graph来保存这些buffer ----> 2 y.grad_fn.saved_Variables AttributeError: 'M
