torch.min的梯度

对于输入张量 $x$ 和维度 $dim$，torch.min 函数返回该维度上的最小值和最小值的索引。由于最小值和索引都是输入张量 $x$ 的函数，因此在进行反向传播时，需要计算它们相对于 $x$ 的梯度。

对于最小值 $min\_values$，其梯度为一个与 $x$ 相同形状的张量 $grad\_values$，其中 $grad\_values_{i,j,k,...}$ 表示 $x_{i,j,k,...}$ 是否等于 $min\_values_{j,k,...}$，如果是则 $grad\_values_{i,j,k,...}=1$，否则为 $0$。

对于最小值的索引 $min\_indices$，其梯度为一个与 $x$ 相同形状的张量 $grad\_indices$，其中 $grad\_indices_{i,j,k,...}$ 表示 $x_{i,j,k,...}$ 是否等于 $x_{i,min\_indices_{j,k,...},k,...}$，如果是则 $grad\_indices_{i,min\_indices_{j,k,...},k,...}=1$，否则为 $0$。

可以通过 torch.autograd.grad 函数计算梯度，例如：

import torch

x = torch.tensor([[1, 2], [3, 4]], dtype=torch.float, requires_grad=True)
min_values, min_indices = torch.min(x, dim=1)
loss = torch.sum(min_values)
grad_x = torch.autograd.grad(loss, x)[0]
print(grad_x)

输出结果为：

tensor([[1., 0.],
        [0., 1.]])

这表示 $x$ 的梯度为 $[[1, 0], [0, 1]]$，与上面的梯度定义相符。