關於learning rate decay的問題，pytorch 0.2以上的版本已經提供了torch.optim.lr_scheduler的一些函數來解決這個問題。

我在叠代的時候使用的是下面的方法。

classtorch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)

>>> # Assuming optimizer uses lr = 0.05 for all groups
>>> # lr = 0.05     if epoch < 30
>>> # lr = 0.005    if 30 <= epoch < 80
>>> # lr = 0.0005   if epoch >= 80
>>> scheduler = MultiStepLR(optimizer, milestones=[30,80], gamma=0.1)
>>> for epoch in range(100):
>>>     scheduler.step()
>>>     train(...)
>>>     validate(...)
使用的時候check一下pytorch的版本，如果提示沒有lr_scheduler don‘t find 嘗試用
 
from torch.optim import lr_scheduler 導入
具體的訓練代碼見 https://www.cnblogs.com/z1141000271/p/9394738.html

pytorch learning rate decay