pytorch 固定部分参数训练的方法 - CSDN文库

151 浏览量更新于2023-05-03 收藏 43KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源推荐

pytorch 固定部分参数训练的方法固定部分参数训练的方法

需要自己过滤

optimizer.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3)

另外，如果是Variable，则可以初始化时指定

j = Variable(torch.randn(5,5), requires_grad=True)

但是如果是

m = nn.Linear(10,10)

是没有requires_grad传入的

m.requires_grad也没有

需要

for i in m.parameters():

i.requires_grad=False

另外一个小技巧就是在nn.Module里，可以在中间插入这个

for p in self.parameters():

p.requires_grad=False

这样前面的参数就是False，而后面的不变

class Net(nn.Module):

def __init__(self):

super(Net, self).__init__()

self.conv1 = nn.Conv2d(1, 6, 5)

self.conv2 = nn.Conv2d(6, 16, 5)

for p in self.parameters():

p.requires_grad=False

self.fc1 = nn.Linear(16 * 5 * 5, 120)

self.fc2 = nn.Linear(120, 84)

self.fc3 = nn.Linear(84, 10)

以上这篇pytorch 固定部分参数训练的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持

软件开发网。

您可能感兴趣的文章您可能感兴趣的文章:python PyTorch预训练示例Pytorch加载部分预训练模型的参数实例pytorch 更改预训练模型网络结构的

方法pytorch 在网络中添加可训练参数,修改预训练权重文件的方法详解PyTorch批训练及优化器比较pytorch 预训练层的使用方

法

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

weixin_38595850

粉丝: 7
资源: 901

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈