对称的交叉熵损失函数

对称的交叉熵（Symmetric Cross Entropy, SCE）是一种用于衡量两个概率分布之间差异的损失函数，它在某些场景下比标准的交叉熵损失更有效。标准交叉熵通常用于分类任务，其中模型预测的概率与真实标签是一一对应的。然而，在某些情况下，如多标签分类或多类别不平衡问题，对称交叉熵可以提供更好的性能。

对称交叉熵定义为两个概率分布 \( p \) 和 \( q \) 之间的KL散度的平均值，计算公式如下[^4]:

\[ \text{SCE}(p, q) = -\frac{1}{2} D_{KL}(p || q) - \frac{1}{2} D_{KL}(q || p) \]

这里，\( D_{KL}(p || q) \) 表示Kullback-Leibler散度，衡量的是从分布 \( q \) 到分布 \( p \) 的信息增益。对称性使得模型不仅要尽可能地接近正样本的分布 \( p \)，也要尽可能远离负样本的分布 \( q \)，从而避免过拟合高频率类别的样本。

下面是一个简单的Python实现来计算对称交叉熵[^5]：

import torch
from torch.nn import functional as F

def symmetric_cross_entropy(p, q):
    return 0.5 * (F.kl_div(torch.log(p), q, reduction='batchmean') + F.kl_div(torch.log(q), p, reduction='batchmean'))

# 示例用法
softmax_output = torch.softmax(torch.randn(100, 5), dim=1)
one_hot_labels = torch.eye(5)[torch.randint(0, 5, (100,))]
sce_loss = symmetric_cross_entropy(softmax_output, one_hot_labels)