我们可能希望模型中的某些参数参数不更新（从开始到结束均保持不变），但又希望参数保存下来（model.state_dict() ），这是我们就会

在深度学习中，有时候我们可能会遇到需要固定某些超参数（如学习率衰减、批量归一化层的gamma和beta等）的情况，以便在整个训练过程中维持它们的初始值，同时仍然能够保存整个模型的状态用于后续的推理或继续训练其他部分。这时可以采取以下策略：

1. **冻结参数**：在PyTorch中，你可以通过`requires_grad=False`属性将这些不需要优化的参数设置为不随反向传播更新。例如，在加载预训练模型时，对于特征提取网络的部分，我们可以将其所有参数设为`requires_grad=False`。

for param in model.feature_extractor.parameters():
    param.requires_grad = False

2. **分组优化**：如果希望只对部分参数进行训练，可以创建两个优化器，一个负责训练固定的参数，另一个负责训练可训练的参数。然后在每次更新步骤时选择相应的优化器。

3. **保存状态**：尽管某些参数未被优化，但仍需要保存它们的状态以便后续使用。可以像平常一样使用`model.state_dict()`保存模型的整体状态，包括这些固定参数。之后恢复模型时只需加载这部分状态即可。

state_dict = model.state_dict()
# 可能需要过滤掉固定参数
fixed_params = {k: v for k, v in state_dict.items() if 'feature_extractor' not in k}
trainable_params = {k: v for k, v in state_dict.items() if 'feature_extractor' in k and v.requires_grad}

model.load_state_dict({**fixed_params, **trainable_params})