torch计算信息熵损失

在PyTorch中，可以使用以下代码计算信息熵损失：

import torch
import torch.nn.functional as F

def entropy_loss(logits):
    probs = F.softmax(logits, dim=-1)
    log_probs = F.log_softmax(logits, dim=-1)
    entropy = -torch.sum(probs * log_probs, dim=-1)
    return entropy.mean()

其中，`logits`是模型的输出，表示每个类别的得分。首先通过`softmax`函数将得分转换为概率分布，然后计算概率的对数，最后计算每个样本的信息熵，再取平均值作为损失函数。

例如，假设模型输出的`logits`为一个大小为`(batch_size, num_classes)`的张量，可以使用以下代码计算信息熵损失：

logits = torch.randn(32, 10)  # 假设batch_size为32，类别数为10
loss = entropy_loss(logits)

其中，`loss`表示信息熵损失的值。