pytorch 计算熵

PyTorch 提供了 `torch.distributions.Categorical` 类可以用来计算离散型分布的熵，示例代码如下：

import torch
from torch.distributions import Categorical

logits = torch.tensor([1.0, 2.0, 3.0])  # 概率对数
probs = torch.softmax(logits, dim=-1)  # 转为概率
dist = Categorical(probs=probs)  # 创建分布对象
entropy = dist.entropy()  # 计算熵
print(entropy)  # 输出 1.0114049911499023

上述代码中，`logits` 是概率对数，通过 `torch.softmax` 函数将其转为概率。然后创建一个 `Categorical` 对象，该对象的 `probs` 参数接受概率值。最后调用 `entropy` 方法计算熵值。