pytorch ReduceLROnPlateau

`ReduceLROnPlateau` 是一个 PyTorch 中的学习率调整器，它可以根据当前的验证集误差来动态地调整学习率。当验证集误差不再减小时，学习率会按照一定的因子进行降低，以便模型能够更好地收敛。

使用 `ReduceLROnPlateau` 需要先定义一个优化器和一个损失函数。然后在训练过程中，每次计算完一个 epoch 的损失后，调用 `ReduceLROnPlateau.step()` 函数即可。例如：

import torch.optim as optim
from torch.optim.lr_scheduler import ReduceLROnPlateau

optimizer = optim.SGD(model.parameters(), lr=0.1)
criterion = nn.CrossEntropyLoss()
scheduler = ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10)

for epoch in range(num_epochs):
    train_loss = train(model, train_loader, criterion, optimizer)
    val_loss = validate(model, val_loader, criterion)
    scheduler.step(val_loss)

在这个例子中，我们使用 SGD 优化器和交叉熵损失函数。每次计算完一个 epoch 的训练损失和验证损失之后，我们调用 `scheduler.step()` 函数来调整学习率。`mode='min'` 表示我们希望验证集误差越小越好，`factor=0.1` 表示每次降低学习率的因子为 0.1，`patience=10` 表示如果验证集误差连续 10 次没有减小，则降低学习率。

除了 `ReduceLROnPlateau`，PyTorch 中还提供了其他的学习率调整器，例如 `StepLR`、`MultiStepLR`、`CosineAnnealingLR` 等等。你可以根据自己的需求选择合适的学习率调整器。