SGD怎么设置衰减率

SGD（Stochastic Gradient Descent，随机梯度下降）是一种基本的优化算法，但在实际应用中通常会引入动量项或衰减（Learning Rate Decay），其中衰减率用于控制学习速度随时间逐渐降低。在Python的PyTorch库中，你可以通过`torch.optim.SGD`类的构造函数设置初始的学习率（learning rate）以及衰减策略，如`lr_scheduler`属性。

**设置固定衰减率**（StepLR、MultiStepLR等）：

import torch.optim as optim

optimizer = optim.SGD(model.parameters(), lr=0.1, momentum=0.9, weight_decay=0.0001, 
                     scheduler=torch.optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1))

在这里，`weight_decay`通常就是指学习率衰减率的一部分，它默认对权重参数做L2正则化。

**设置指数衰减率**（ExponentialLR）：

scheduler = torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma=0.96)

这里的`gamma`即为学习率衰减因子，每次迭代后的学习率都是当前学习率乘以`gamma`。

**手动设置衰减步骤**：

for epoch in range(total_epochs):
    scheduler.step()  # 每个epoch结束时更新学习率
    for batch_idx, (data, target) in enumerate(train_loader):
        ...

在每个周期（epoch）结束后，可以手动调用`scheduler.step()`来更新学习率。