基于pytorch卷积神经网络 自适应调整学习率的实现 代码

以下是基于PyTorch实现自适应调整学习率的代码：

import torch.optim as optim
from torch.optim.lr_scheduler import ReduceLROnPlateau

# 定义模型和优化器
model = MyModel()
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 定义学习率调度器
scheduler = ReduceLROnPlateau(optimizer, 'min', patience=3, factor=0.5, verbose=True)

# 训练模型
for epoch in range(num_epochs):
    train_loss = 0.0
    for i, data in enumerate(train_loader, 0):
        inputs, labels = data
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        train_loss += loss.item()
    train_loss /= len(train_loader)
    
    # 调整学习率
    val_loss = 0.0
    with torch.no_grad():
        for val_data in val_loader:
            val_inputs, val_labels = val_data
            val_outputs = model(val_inputs)
            val_loss += criterion(val_outputs, val_labels).item()
        val_loss /= len(val_loader)
        scheduler.step(val_loss)
    
    print('Epoch [%d/%d], Train Loss: %.4f, Val Loss: %.4f' % (epoch+1, num_epochs, train_loss, val_loss))

在上面的代码中，我们使用了PyTorch自带的`ReduceLROnPlateau`学习率调度器，它会在验证集上监测指定的指标（这里是验证集的平均损失），当验证集指标连续若干个epoch不再下降时，就会将学习率降低一定比例（这里是0.5）。`patience`参数指定了等待多少个epoch才开始调整学习率，`verbose`参数指定是否输出详细信息。