交叉熵损失函数（CrossEntropyLoss）

交叉熵损失函数（CrossEntropyLoss），也称为交叉熵代价函数，是用于分类问题中最常见的损失函数之一，特别是在深度学习中，特别是在神经网络中训练模型时。它主要用于衡量模型预测概率分布与实际标签之间的差异。

1. **定义**：交叉熵是信息论中的概念，用于度量两个概率分布之间的差异。在分类任务中，它被用来评估模型对每个类别的预测概率与真实类别之间的不匹配程度。

2. **计算**：对于单分类问题，交叉熵损失是预测值（softmax后的概率）乘以对应真实标签的对数。对于多分类问题，通常使用softmax函数将输出转换为概率分布，然后计算所有类别预测概率和真实标签之间交叉熵之和。

3. **优点**：交叉熵能够自动归一化，使得梯度更新更稳定；它鼓励模型输出高置信度的预测，如果预测正确则损失接近于0，反之则损失较大。

4. **应用**：广泛应用于如卷积神经网络（CNN）、循环神经网络（RNN）和Transformer等深度学习模型的训练，特别是在图像识别、自然语言处理等领域。