如何在resnet进行学习率衰减？给出具体的代码

在 ResNet 中进行学习率衰减的方式通常是使用学习率衰减策略（LR scheduler），该策略将在训练过程中逐渐减小学习率。PyTorch 提供了许多内置的学习率衰减策略，如 StepLR、ReduceLROnPlateau、CosineAnnealingLR 等。下面是一个简单的示例，展示了如何在 ResNet-18 中使用 StepLR 进行学习率衰减：

import torch
import torch.nn as nn
import torch.optim as optim
from torch.optim.lr_scheduler import StepLR
from torchvision.models import resnet18

# 定义 ResNet-18 模型
model = resnet18()

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 定义学习率衰减策略
scheduler = StepLR(optimizer, step_size=30, gamma=0.1)

# 训练模型
for epoch in range(100):
    train_loss = 0.0
    for data, target in train_loader:
        optimizer.zero_grad()
        output = model(data)
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()
        train_loss += loss.item() * data.size(0)
    scheduler.step()
    print('Epoch: {} \t Training Loss: {:.6f}'.format(epoch+1, train_loss/len(train_loader.dataset)))

在此示例中，学习率将在每 30 个 epoch 后乘以 0.1，这是通过将 StepLR 对象传递给优化器来实现的。在每次调用 `scheduler.step()` 时，它将更新优化器的学习率。