Pytorch自动求导深入理解：backward()参数解析

"本文主要探讨了PyTorch中自动求导函数`backward()`的使用，特别是关于其参数的含义。通过实例展示了标量和向量自动求导的情况，并解释了不同情况下`backward()`函数参数的需求。" 在PyTorch中，`backward()`函数是自动求导（Automatic Differentiation）的核心部分，用于计算网络中可训练参数的梯度，这对于训练神经网络至关重要。通常，`backward()`函数需要一个参数，这个参数与输出`out`的形状匹配，用于指定计算梯度的方式。 对标量自动求导： 当`out`是一个标量（即一个元素的张量）时，例如计算损失函数的值，`backward()`函数可以不带参数调用，如`out.backward()`。在示例中，定义了一个简单的变量`a`，并进行了计算，最后取均值得到标量`out`。调用`out.backward()`后，`a.grad`将存储`a`相对于`out`的梯度。在这个例子中，由于`out`是标量，系统自动计算梯度，无需额外参数。 ```python a = Variable(torch.Tensor([2, 3]), requires_grad=True) b = a + 3 c = b * 3 out = c.mean() out.backward() ``` 对向量自动求导： 如果`out`是一个向量（例如，一个1xN的矩阵），则`backward()`函数需要一个与`out`相同形状的张量作为参数。这个参数通常代表每个输出元素的导数，也称为梯度向量或雅可比矩阵的列。在另一个示例中，创建了一个具有两个输出的简单模型，然后对每个输出使用相同的权重求导： ```python a = Variable(torch.Tensor([[2., 4.]]), requires_grad=True) b = torch.zeros(1, 2) b[0, 0] = a[0, 0]2 b[0, 1] = a[0, 1]3 out = 2 * b out.backward(torch.FloatTensor([[1., 1.]])) ``` 在这个例子中，`out.backward(torch.FloatTensor([[1., 1.]]))`意味着我们对`out`的每个元素都假设导数为1，因此计算得到的`a.grad`是对`a`的雅可比矩阵。 总结起来，`backward()`函数的参数取决于输出`out`的维度。对于标量输出，不需要额外参数，而对于向量或矩阵输出，需要提供一个与`out`同形状的张量，表示每个输出元素的导数。了解这些细节有助于更有效地利用PyTorch进行深度学习模型的训练。