pytorch——反向传播

2022-02-04 11:35:29 阅读：185 来源： 互联网

标签：loss grad 传播 print pytorch 反向计算 forward data

import torch
x_data=[1,2,3]
y_data=[2,4,6]

w=torch.tensor([1.0])
w.requires_grad=True   #计算梯度，要特地设置，不要自动产生梯度

#构建计算图
def forward(x):
    return x*w  #x and w都是tensor
def loss(x,y):
    y_pred=forward(x)
    return (y_pred-y)*(y_pred-y)

print("训练之前",4,forward(4).item())
#训练过程
for epoch in range(100):
    for x,y in zip(x_data,y_data):   #把x_data和y_data整理成一个样本（x，y）
        l=loss(x,y)  #前馈计算，并计算出损失值，张量
        l.backward()  #后向计算，自动把计算图中需要梯度的地方求出，存到tensor的w中，释放计算图，下次进行loss计算时，在准备下一次的计算图
        print('grad:',x,y,w.grad.item())
        w.data=w.data-w.grad.data*0.01  #张量loss中包含tensor类型的data和grad，要获得梯度（数值），而w.grad计算图，需要w.grad.data数值
        w.grad.data.zero_()   #梯度手工清零
    print("progress",epoch,l)

print("训练之后",4,forward(4).item())

标签：loss,grad,传播,print,pytorch,反向,计算,forward,data
来源： https://www.cnblogs.com/xinrui-wang/p/15862586.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

pytorch——反向传播