pytorch如何设置自适应学习率

PyTorch提供了一些内置的优化器，例如SGD、Adam等，这些优化器都支持自适应学习率的设置。一般来说，有两种方式来设置自适应学习率。

第一种方式是使用PyTorch提供的学习率调度器（Learning Rate Scheduler），这些调度器可以根据训练的轮数或者验证集的表现来调整学习率。PyTorch提供了一些常见的学习率调度器，比如StepLR、MultiStepLR、ReduceLROnPlateau等。以ReduceLROnPlateau为例，它会根据验证集的表现来调整学习率，当验证集的表现不再提升时，学习率会减半。

from torch.optim.lr_scheduler import ReduceLROnPlateau

optimizer = torch.optim.Adam(model.parameters(), lr=0.1)
scheduler = ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=True)

for epoch in range(num_epochs):
    train_loss = train(model, train_loader, optimizer)
    val_loss = evaluate(model, val_loader)
    scheduler.step(val_loss)

第二种方式是使用PyTorch提供的参数组（Parameter Group）来设置不同的学习率。有些模型的不同层对学习率的敏感程度不同，这时候就可以使用参数组来设置不同的学习率。以ResNet模型为例，可以将卷积层和全连接层分别设置不同的学习率。

import torch.optim as optim

model = ResNet()
conv_layers = [model.conv1, model.layer1, model.layer2, model.layer3]
fc_layers = [model.layer4, model.fc]

optimizer = optim.SGD([
    {'params': conv_layers, 'lr': 0.001},
    {'params': fc_layers, 'lr': 0.01}
], momentum=0.9)

在这个例子中，我们将卷积层和全连接层分别放在一个参数组中，并设置不同的学习率。这样调整学习率时就可以分别调整不同层的学习率。