pytorch中所有求梯度的函数

在PyTorch中，求梯度是自动微分（Automatic Differentiation, AD）的核心功能，它允许你在训练深度学习模型时轻松计算损失相对于网络参数的梯度。以下是一些常用的求梯度函数：

1. `torch.autograd.grad()`: 这是最基本的梯度函数，接受一组输入张量和它们的目标（损失），并返回每个输入张量对应的梯度。

   output = model(inputs)
   gradients = torch.autograd.grad(output.sum(), inputs)  # 对loss求梯度

2. `.grad()`: PyTorch的张量对象自带这个属性，当你对一个张量求梯度时，可以简单地调用`.grad()`。

   loss.backward()  # 计算整个图的梯度，默认会反向传播到所有张量
   input.grad  # 查看input的梯度

3. `.backward()`: 如果你需要手动控制梯度的传播方向和是否断开历史记录，可以使用`backward()`方法，还可以传递一个张量作为`gradient`参数指定自定义梯度。

4. `torch.Tensor.backward()`: 直接作用于张量上，对张量应用链式规则，生成相应的梯度。

5. `.requires_grad_(...)`: 在运行时更改张量的梯度跟踪状态，如果之前没有追踪梯度，设置为True则开始追踪；反之，设为False停止追踪。

6. `torch.optim`: 优化器如Adam、SGD等，内部也包含了求梯度和更新权重的操作，例如`optimizer.step()`会同时完成梯度计算和权重更新。