pytorch如何设置学习率自动下降，代码演示

以下是使用PyTorch设置学习率自动下降的代码演示：

import torch.optim as optim
from torch.optim.lr_scheduler import ReduceLROnPlateau

# 定义网络模型
model = ...

# 定义优化器和损失函数
optimizer = optim.Adam(model.parameters(), lr=0.1, weight_decay=1e-5)
criterion = ...

# 设置学习率自动下降
lr_scheduler = ReduceLROnPlateau(optimizer, 'min', patience=3, factor=0.5, verbose=True)

# 训练模型
for epoch in range(num_epochs):
    for inputs, labels in data_loader:
        # 前向传播
        outputs = model(inputs)
        # 计算损失
        loss = criterion(outputs, labels)
        # 反向传播和优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    
    # 每个epoch结束时更新学习率
    lr_scheduler.step(loss)

在以上代码中，我们首先定义了一个Adam优化器和一个损失函数。然后，我们通过`ReduceLROnPlateau`类设置学习率自动下降。这个类可以根据训练过程中的验证集损失值（或其他指标）来自动调整学习率。例如，如果损失值连续三个epoch没有下降，那么学习率会减少为原来的一半。

最后，在每个epoch结束时，我们调用`lr_scheduler.step(loss)`来更新学习率。这个方法会根据当前的损失值自动调整学习率。