Pytorch断开后继续训练 或 加载预训练模型继续训练，如何操作

在PyTorch中，如果你想中断训练并之后恢复，或者加载预训练模型进行微调，你可以通过以下几个步骤来完成：

1. **保存训练状态**:
- 使用`torch.save()`函数保存模型的状态和优化器的状态。例如：

     torch.save({
         'model_state_dict': model.state_dict(),
         'optimizer_state_dict': optimizer.state_dict(),
         'epoch': epoch,
         'step': global_step}, 'checkpoint.pth')

2. **恢复训练**:
- 创建一个新的模型实例（如果需要的话），然后使用`load_state_dict()`函数加载保存的模型权重。

     model = YourModelClass()  # 如果是微调已有模型
     model.load_state_dict(torch.load('checkpoint.pth')['model_state_dict'])

- 同样地，加载优化器状态：

     optimizer.load_state_dict(torch.load('checkpoint.pth')['optimizer_state_dict'])

- 设置相应的步数和当前训练轮次：

     global_step = torch.load('checkpoint.pth')['step']
     current_epoch = torch.load('checkpoint.pth')['epoch']

3. **继续训练**:
- 调整学习率、设置开始训练的标志等，然后在训练循环中从上次停止的地方开始。

4. **加载预训练模型继续训练**:
- 直接加载预训练模型（如ResNet、BERT等），通常不需要优化器部分，因为预训练模型参数通常是固定的。

     model = PretrainedModelClass(pretrained=True)
     for param in model.parameters():
         param.requires_grad = False  # 防止对预训练权重做反向传播

- 选择希望微调的层，并将它们的`requires_grad`属性设为`True`。
- 开始训练前，可以选择性地调整学习率，以便更精细地更新微调后的参数。

**相关问题--:**
1. PyTorch中的模型和优化器状态分别怎么保存？
2. 如何仅加载预训练模型而不包含其预训练权重？
3. 使用预训练模型微调时，为什么要将大部分参数设置为不可训练？