python中backward函数

在 PyTorch 中，backward() 函数是用于计算梯度的函数，通常与 autograd 模块一起使用。该函数的作用是计算某个张量相对于计算图中所有叶子节点的梯度。

具体而言，当我们通过一个张量进行前向计算时，PyTorch 会自动构建一个计算图，并将计算过程中涉及的所有张量和操作都记录下来。这个计算图中包含了所有对于最终结果有影响的变量和操作，并且可以通过调用 backward() 函数来计算这些变量的梯度。

backward() 函数通常在计算损失函数时使用。在模型训练过程中，我们需要根据损失函数来计算模型参数的梯度，并利用这些梯度来更新参数。backward() 函数可以自动计算损失函数关于模型参数的梯度，从而方便我们进行模型参数的更新。

使用 backward() 函数时，我们需要注意几个问题：

1. backward() 函数只能对一个标量张量调用，因此通常需要将损失函数转化为标量张量；

2. backward() 函数会累积梯度，因此每次调用 backward() 函数前需要清空梯度；

3. 叶子节点（即 requires_grad=True 的张量）的梯度会被保留，非叶子节点的梯度会被清空。如果想保留非叶子节点的梯度，可以使用 retain_grad() 方法。

示例代码如下：

import torch

x = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
y = torch.tensor([4.0, 5.0, 6.0], requires_grad=True)

z = torch.sum(x * y)

z.backward()

print(x.grad)  # tensor([4., 5., 6.])
print(y.grad)  # tensor([1., 2., 3.])