你不是说pytorch设置param.requires_grad = false，训练后参数还在更新

我可能没有表达清楚。当我们设置param.requires_grad = False时，该参数将不会被优化器更新，即该参数不会在反向传播时计算梯度。但是，如果在训练过程中修改了该参数的值，该值仍然会被更新。因此，如果我们希望保持该参数的值不变，可以在训练过程中手动将其设置为不可更新，例如使用torch.no_grad()包装该参数。

相关问题

pytorch设置param.requires_grad = false，为什么训练后参数还在更新

在PyTorch中，设置参数的requires_grad属性为False可以将其标记为不需要梯度计算，从而不会在反向传播过程中更新该参数的梯度值。然而，即使将参数的requires_grad属性设置为False，如果在模型中使用了该参数进行计算，该参数仍然会被更新，因为PyTorch会根据计算图自动推导出需要更新的参数。

例如，假设模型中的某个层使用了一个requires_grad为False的参数进行计算：

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.fc = nn.Linear(10, 1, bias=False)
        self.fc.weight.requires_grad = False
        
    def forward(self, x):
        out = self.fc(x)
        return out

在训练过程中，即使将该参数的requires_grad属性设置为False，该参数仍然会被更新：

model = MyModel()
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

for i in range(10):
    x = torch.randn(1, 10)
    y = torch.randn(1, 1)
    optimizer.zero_grad()
    output = model(x)
    loss = nn.functional.mse_loss(output, y)
    loss.backward()
    optimizer.step()

print(model.fc.weight)

输出结果为：

tensor([[-0.0233,  0.0133,  0.1036,  0.0312, -0.0608, -0.1007, -0.1006, -0.0221,
         -0.0030,  0.0778]])

可以看到，虽然将fc层的权重设置为不需要梯度计算，但是该参数仍然被更新了。这是因为在反向传播过程中，PyTorch会根据计算图自动推导出需要更新的参数，而不是根据requires_grad属性来确定需要更新的参数。因此，在模型中使用参数进行计算时，即使将其requires_grad属性设置为False，该参数仍然可能被更新。

pytorch会保存param.requires_grad = false的参数吗

不会保存。

在PyTorch中，只有具有requires_grad=True标志的参数才会被保存到模型的状态字典中。如果参数的requires_grad=False，它将不会被保存到状态字典中。

要保存requires_grad=False的参数，可以使用torch.save()和torch.load()函数手动保存和加载它们。但是，这些参数将不会被优化器更新，因为它们不是计算图的一部分。