retain_graph后怎么手动清除计算图，不使用 backward()

如果你使用 `retain_graph=True` 选项来保留计算图，那么在不使用 `backward()` 的情况下手动清除计算图可以使用以下两种方法之一：

1. 使用 `del` 关键字删除计算图中的中间变量和 tensor，这将使它们在计算图中断开连接并被删除。例如：

import torch

a = torch.randn(3, 3, requires_grad=True)
b = a * 2
c = b.mean()
d = c * 3

# 计算梯度
d.backward(retain_graph=True)

# 清除计算图
del a, b, c, d

2. 使用 `detach()` 方法分离 tensor，将其从计算图中分离并返回副本，同时保留其数值。这将使计算图中的 tensor 断开连接，并且它们不会影响后续的计算。例如：

import torch

a = torch.randn(3, 3, requires_grad=True)
b = a * 2
c = b.mean()
d = c * 3

# 计算梯度
d.backward(retain_graph=True)

# 分离 tensor
a.detach_()
b.detach_()
c.detach_()
d.detach_()

在这两种情况下，计算图都会被清除，不再占用内存。但是需要注意的是，这些方法并不会清除计算图所占用的显存，因此如果你需要回收显存，还需要使用 `torch.cuda.empty_cache()` 方法。