pytorch反向传播计算二阶导

PyTorch默认只计算一阶导数（梯度），不直接支持计算二阶导数。但是，可以通过以下方法来计算二阶导数：

1.手动计算Hessian矩阵

可以使用PyTorch中的自动微分机制计算一阶导数，在此基础上，可以手动计算二阶导数。假设我们要计算一个标量函数$f(x)$的二阶导数，第一步是计算$f(x)$的一阶导数$g=\frac{\partial f(x)}{\partial x}$，然后计算$g$的一阶导数$h=\frac{\partial g}{\partial x}$，最终得到$f$的二阶导数$h$。可以使用链式法则来计算$h$，例如：

import torch

x = torch.tensor([1.0], requires_grad=True)

# 计算一阶导数
y = x ** 2
g = torch.autograd.grad(y, x, create_graph=True)[0]

# 计算二阶导数
h = torch.autograd.grad(g, x)[0]

在这个例子中，我们首先计算$x^2$的一阶导数，即$2x$，然后计算$2x$的一阶导数，即$2$，从而得到二阶导数为$2$。

如果要计算多个变量的二阶导数，可以将它们放在一个向量中，并将梯度和Hessian矩阵表示为矩阵形式。例如，假设我们要计算一个函数$f(x,y)=x^2+y^2$的一阶导数向量和二阶导数矩阵，可以这样做：

import torch

x = torch.tensor([1.0], requires_grad=True)
y = torch.tensor([2.0], requires_grad=True)

# 计算一阶导数
z = x ** 2 + y ** 2
g = torch.autograd.grad(z, (x,y), create_graph=True)

# 计算二阶导数
h = torch.zeros((2,2))
for i, var in enumerate([x,y]):
    for j, gvar in enumerate(g):
        h[i, j] = torch.autograd.grad(gvar, var)[0]

在这个例子中，我们首先计算$f(x,y)$的一阶导数向量$(2x,2y)$，然后计算每个元素的一阶导数，从而得到二阶导数矩阵$\begin{bmatrix}2 & 0 \\ 0 & 2 \end{bmatrix}$。注意，我们需要手动创建一个零矩阵来存储Hessian矩阵。

2.使用torch.autograd.functional.hessian函数

PyTorch 1.8版本新增了一个torch.autograd.functional.hessian函数，可以用来计算二阶导数（Hessian矩阵）。使用该函数，我们只需要提供要计算Hessian矩阵的函数和输入变量，就可以得到Hessian矩阵。例如，假设我们要计算函数$f(x)=\sin(x_1+x_2)+x_1x_2$在输入$(\pi/4, \pi/4)$处的Hessian矩阵，可以这样做：

import torch

x = torch.tensor([3.14/4, 3.14/4], requires_grad=True)

def f(x):
    return torch.sin(x[0]+x[1]) + x[0]*x[1]

hessian = torch.autograd.functional.hessian(f, x)

在这个例子中，我们定义了一个函数$f(x)$，然后计算在输入$x=(\pi/4, \pi/4)$处的Hessian矩阵。注意，输入$x$应该是一个张量，并且需要将requires_grad属性设置为True。在计算Hessian矩阵时，我们只需要调用torch.autograd.functional.hessian函数，并传入函数$f$和输入变量$x$即可。

需要注意的是，计算Hessian矩阵的运算量非常大，因此在实际应用中应该尽量避免计算Hessian矩阵。