pytorch中adam算法怎么自动调整学习率

在 PyTorch 中，可以使用 `torch.optim.lr_scheduler` 模块中的学习率调度器来自动调整学习率。具体来说，可以使用 `StepLR`、`MultiStepLR`、`ExponentialLR`、`CosineAnnealingLR` 等调度器来实现自动调整学习率。

以 `StepLR` 为例，它可以在每个 epoch 结束时将学习率乘以一个指定的因子。以下是一个简单的例子：

import torch.optim as optim
from torch.optim.lr_scheduler import StepLR

# 定义优化器和学习率调度器
optimizer = optim.Adam(model.parameters(), lr=0.001)
scheduler = StepLR(optimizer, step_size=10, gamma=0.1)

for epoch in range(num_epochs):
    # 训练
    ...
    # 更新学习率
    scheduler.step()

在这个例子中，我们使用 `Adam` 优化器，并将学习率初始化为 0.001。然后，我们定义了一个学习率调度器 `StepLR`，其中 `step_size` 参数表示每个 `step_size` 个 epoch，学习率将会乘以 `gamma`。在每个 epoch 结束时，我们调用 `scheduler.step()` 来更新学习率。

除了 `StepLR` 调度器，`MultiStepLR` 调度器在指定的 epoch 中可以多次调整学习率，`ExponentialLR` 调度器可以按指数衰减调整学习率，`CosineAnnealingLR` 调度器可以按余弦退火调整学习率等等。根据具体情况选择合适的学习率调度器可以帮助模型更快地收敛和提高模型的泛化能力。