torch.detach后的梯度计算

在 PyTorch 中使用 `.detach()` 方法可以将一个 tensor 从计算图中分离出来，使得它不再被计算图追踪，也就不会再参与自动求导的计算。这个方法常用于将一部分数据作为常量进行计算，以提高运算速度。

当我们对一个 tensor 使用 `.detach()` 方法后，它的梯度信息也会被分离出来，因此在反向传播时这个 tensor 的梯度不会被计算。如果我们希望对一个已经分离出来的 tensor 计算梯度，可以通过设置 `requires_grad=True` 来重新将它加入计算图中。

下面是一个示例代码：

import torch

x = torch.randn((3, 4), requires_grad=True)
y = x.detach()  # 分离出来的 tensor 不再被追踪，也不会计算梯度

z = y.sum()
z.backward()  # y 的梯度为 None，无法计算

print(x.grad)  # tensor([[1., 1., 1., 1.], [1., 1., 1., 1.], [1., 1., 1., 1.]])
print(y.grad)  # None

# 将 y 重新加入计算图中，并计算梯度
y.requires_grad_(True)
z = y.sum()
z.backward()
print(y.grad)  # tensor([[1., 1., 1., 1.], [1., 1., 1., 1.], [1., 1., 1., 1.]])