with torch.no_grad()理解

2022-01-20 16:59:23 阅读：175 来源： 互联网

标签：tensor no grad torch requires param True

前置

1.pytorch中tensor的操作都要进行计算图的构建，为backward反向传播做准备。
2.手动创建的为叶子结点，由叶子结点生产的表达式会继承叶子结点的requires_grad(有True就继承True,没True就继承False)

import torch
x_1 = torch.tensor([1.,2.,3.],requires_grad=True)#不能是整数
y_1 = x*x
print(y.requires_grad)
#True

import torch
x_2 = torch.tensor([1.,2.,3.])#不指定就默认为False
y_2 = x_2*x_2
print(y_2.requires_grad)
#False

x_31 = torch.tensor([1.,2.,3.],requires_grad=True)
x_32 = torch.tensor([1.,2.,3.],requires_grad=False)
y = x_31*x_32
print(y.requires_grad)
#True

3.在进行梯度下降之后，梯度会保留在变量的grad里，在下一次反向传播前要进行梯度清空，否则会在原有的梯度基础上继续计算

with torch.no_grad()

def sgd(params, lr, batch_size):  #params是含有w和b的tensor,requires_grad = True
    with torch.no_grad():
        for param in params:
            param -= lr * param.grad / batch_size#1
            param.grad.zero_()#梯度清空

#1处是tensor操作，由于param允许梯度计算，若没有torch.no_grad()则会在计算过程中自动构建计算图，产生不必要的显存占用

写出来算是把自己说服了

标签：tensor,no,grad,torch,requires,param,True
来源： https://blog.csdn.net/wcj623917753/article/details/122600666

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

with torch.no_grad()理解

前置

with torch.no_grad()