pytorch相对熵

PyTorch中的相对熵（Kullback-Leibler divergence）通常表示为KL散度，用于衡量两个概率分布之间的差异。KL散度衡量了一个分布相对于另一个分布的信息损失。

在PyTorch中，可以使用`torch.nn.functional.kl_div()`函数计算两个概率分布的KL散度。它的函数签名如下：

kl_div(input, target, size_average=None, reduce=None, reduction='mean')

其中，`input`是一个包含对数概率（log-probability）值的张量，`target`是一个包含概率值的张量。`size_average`和`reduce`参数用于指定如何进行求平均或求和操作，`reduction`参数用于指定如何降低输出的维度。

需要注意的是，KL散度不是对称的，即KL(p||q) ≠ KL(q||p)。因此，在使用KL散度时需要注意输入和目标的顺序。

以下是一个示例：

import torch
import torch.nn.functional as F

# 定义两个概率分布
p = torch.tensor([0.2, 0.3, 0.5])
q = torch.tensor([0.5, 0.2, 0.3])

# 计算KL散度
kl_divergence = F.kl_div(p.log(), q, reduction='sum')

print(kl_divergence.item())  # 输出结果：1.0565093755722046

以上示例中，我们计算了两个概率分布p和q之间的KL散度，并将其打印出来。