标签：... optimizer optim pytorch lr scheduler momentum

一、动量（momentum）

　可以给优化器加上一个动量，可以有效缓解局部最优问题。

　原理上就是让优化过程从

　　W = W - lr * dW

　变成

　　V = momentum * V - lr * dW

　　W = W + V

　使用示例：

from torch import optim
...
model = Model()
optimizer = optim.SGD(model.parameters(), lr=0.005, momentum=0.9)
...

二、优化器动态学习率设置（scheduler）

　可以让学习率随着epoch的增大而减小，此处以ExponentialLR为例

　使用示例：

from torch.optim.lr_scheduler import ExponentialLR
...
optimizer = optim.SGD(catp.parameters(), lr=0.005, momentum=0.9)
scheduler = ExponentialLR(optimizer, gamma=0.99)
for epoch in range(epochs):
    for i, batch_data in enumerate(dataloader):
        loss = ...
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    scheduler.step()
...

标签：...,optimizer,optim,pytorch,lr,scheduler,momentum
来源： https://www.cnblogs.com/s-tyou/p/16506074.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。