optimizer.zero_grad()# 梯度清零 AttributeError: 'Adam' object has no attribute 'zero_grad'

这个错误提示表明您正在使用的 Adam 优化器对象没有 `zero_grad()` 方法。在 PyTorch 中，只有继承自 `torch.optim.Optimizer` 类的优化器才有 `zero_grad()` 方法。您可以尝试将优化器对象改为继承自 `torch.optim.Optimizer` 类的优化器对象，例如 `torch.optim.SGD` 或 `torch.optim.AdamW`。如果您想继续使用 Adam 优化器，您可以手动将梯度清零，例如：

optimizer.zero_grad(set_to_none=True) # 将梯度设置为 None

或者

for param in model.parameters():
    param.grad = None

这两种方法都可以将模型参数的梯度设置为 None，达到梯度清零的效果。

相关问题

AttributeError Traceback (most recent call last) Cell In[18], line 21 19 data, target = data.cuda(), target.cuda() 20 # clear the gradients of all optimized variables ---> 21 optimizer.zero_grad() 22 # forward pass: compute predicted outputs by passing inputs to the model 23 output = model(data) AttributeError: 'NoneType' object has no attribute 'zero_grad'

这个错误表明你尝试在一个空对象上调用 `zero_grad()` 方法。通常情况下，这是因为你没有正确地定义或初始化优化器对象。

请确保你已经正确地创建了优化器对象，并将其赋值给 `optimizer` 变量。例如，对于常见的优化器如 Adam，你可以按照以下方式进行初始化：

optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

确保在调用 `optimizer.zero_grad()` 之前，`optimizer` 对象已经被正确地定义和初始化。

报错Cell In[2], line 120, in train(dataloader, model, loss_fn, optimizer) 118 cur_loss=F.cross_entropy(preds,labels) 119 pred1=torch.max(preds,axis=1) --> 120 cur_acc=torch.sum((labels==pred1).to(torch.float32))/preds.shape[0] 121 optimizer.zero_grad() 122 cur_loss.backward() AttributeError: 'bool' object has no attribute 'to'

这个错误可能是因为 `(labels==pred1)` 返回了一个布尔类型的张量，而 `to()` 方法只能用于张量类型的转换。可以尝试将 `(labels==pred1)` 改为 `torch.eq(labels, pred1)`，这样返回的就是一个张量，就可以使用 `to()` 方法进行类型转换了。例如：

cur_acc=torch.sum(torch.eq(labels,pred1).to(torch.float32))/preds.shape[0]

另外，需要注意 `torch.max(preds, axis=1)` 返回的是一个元组，包含两个张量，第一个张量是最大值，第二个张量是最大值对应的索引。如果需要获取最大值对应的索引，可以使用 `torch.max(preds, axis=1)[1]`。