学习率衰减 pytorch

PyTorch中可以通过torch.optim.lr_scheduler模块来实现学习率的衰减，常见的学习率衰减方法包括StepLR、MultiStepLR、ExponentialLR等。以StepLR为例，可以通过以下代码实现：

import torch.optim as optim
from torch.optim.lr_scheduler import StepLR

optimizer = optim.SGD(model.parameters(), lr=0.1)
scheduler = StepLR(optimizer, step_size=30, gamma=0.1)

for epoch in range(100):
    # train model
    train(...)
    
    # adjust learning rate
    scheduler.step()

其中step_size表示每隔多少个epoch进行一次学习率衰减，gamma表示学习率衰减的倍数。