自适应学习率代码

下面是一个简单的自适应学习率代码示例，使用Adam优化器：

import torch
import torch.nn as nn
import torch.optim as optim

# 定义模型和优化器
model = nn.Linear(10, 1)
optimizer = optim.Adam(model.parameters())

# 自适应学习率调整
lr_scheduler = optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10)

# 训练循环
for epoch in range(num_epochs):
    for inputs, targets in train_loader:
        # 前向传播
        outputs = model(inputs)
        loss = loss_fn(outputs, targets)
        
        # 反向传播和优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        
    # 在验证集上测试
    with torch.no_grad():
        val_loss = 0
        for inputs, targets in val_loader:
            outputs = model(inputs)
            val_loss += loss_fn(outputs, targets)
        val_loss /= len(val_loader)
        
    # 调整学习率
    lr_scheduler.step(val_loss)

在这个示例中，使用了 `ReduceLROnPlateau` 学习率调度器。它会在验证集上监测损失值，如果多个连续的 epoch 验证集上损失值都没有下降，就会将学习率下降一个 factor（这里是 0.1）。`patience` 参数表示连续多少个 epoch 损失值没有下降时才进行学习率调整。