pytorch迁移学习冻结

在Pytorch中，迁移学习的冻结是指将模型的主干部分（通常是特征提取网络）的参数冻结起来，只对其他部分进行微调。冻结训练可以加快训练效率，并且防止权值被破坏。冻结阶段，特征提取网络不发生改变，只对网络进行微调。解冻阶段，主干部分的参数不再被冻结，特征提取网络会发生改变，这会占用更多的显存，同时所有的网络参数都会发生改变。

在Pytorch中，可以通过设置requires_grad属性来控制参数是否参与训练。对于冻结阶段，可以将主干部分的参数设置为不可训练，即requires_grad=False。而在解冻阶段，需要将这些参数设置为可训练，即requires_grad=True。

以下是一个示例代码，展示了如何在Pytorch中进行冻结训练和解冻训练：

# 冻结阶段训练参数
Freeze_Epoch = 50
Freeze_batch_size = 8
Freeze_lr = 1e-3

# 解冻阶段训练参数
UnFreeze_Epoch = 100
Unfreeze_batch_size = 4
Unfreeze_lr = 1e-4

# 可以加一个变量控制是否进行冻结训练
Freeze_Train = True

# 冻结阶段
batch_size = Freeze_batch_size
lr = Freeze_lr
start_epoch = 0
end_epoch = Freeze_Epoch

if Freeze_Train:
    # 冻结主干部分的参数
    for param in model.backbone.parameters():
        param.requires_grad = False

# 解冻后训练
batch_size = Unfreeze_batch_size
lr = Unfreeze_lr
start_epoch = Freeze_Epoch
end_epoch = UnFreeze_Epoch

if Freeze_Train:
    # 解冻主干部分的参数
    for param in model.backbone.parameters():
        param.requires_grad = True

需要注意的是，在进行冻结和解冻训练时，要根据具体情况调整学习率和批量大小。另外，如果显存不足或网络效果不够好，可以使用断点恢复技术，将模型恢复到之前的训练状态，然后调整起始epoch和终止epoch，继续训练。

参考资料：
引用来源：https://www.jianshu.com/p/4056f413af87
引用来源：https://www.zhihu.com/question/375476718/answer/1386377313
引用来源：https://blog.csdn.net/weixin_42652507/article/details/113713945
引用来源：https://zhuanlan.zhihu.com/p/62337445<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>