.cross_entropy

在机器学习中，交叉熵（Cross Entropy）通常用于衡量两个概率分布之间的差异，比如模型预测的概率分布Q(x)与实际标签分布P(x)的相似程度。直观来说，它是通过计算每个样本点上，如果Q(x)完全按照P(x)分配，那么从P(x)的角度来看，还需要多少信息量才能得到这种匹配。

对于单个类别i，交叉熵\( H(p_i, q_i) \)可以定义为：

\[ H(p_i, q_i) = -p_i \log(q_i) \]

其中，\( p_i \) 是真实分布下的概率，\( q_i \) 是模型预测的概率。如果\( p_i = 1 \)（即样本属于该类别的确定性），那么交叉熵会最大化，因为模型需要极大化其对这个类别的信心；如果\( p_i = 0 \)，则交叉熵为0，表示模型对此类别的预测已经非常准确。

在多分类问题中，总的交叉熵\( H(P, Q) \)就是各个类别的交叉熵之和：

\[ H(P, Q) = -\sum_{i=1}^{n} p_i \log(q_i) \]

如果KL散度（Kullback-Leibler Divergence）\( D_{KL}(P||Q) \)较小，说明模型的预测分布\( Q \)更接近于真实分布\( P \)，意味着模型的学习效果更好。因此，在训练过程中，优化模型的目标经常是降低交叉熵或KL散度。[^1]

相关问题

F.binary_cross_entropy和F.cross_entropy

F.binary_cross_entropy和F.cross_entropy是PyTorch中常用的损失函数，用于计算二分类和多分类任务的损失。

F.binary_cross_entropy用于二分类任务，计算目标与预测之间的交叉熵损失。它的输入包括两个参数：预测值和目标值。预测值是一个浮点数，表示模型对样本属于正类的概率；目标值是一个二进制标签，表示样本的真实类别。该函数会将预测值通过sigmoid函数转换为概率，并计算交叉熵损失。

F.cross_entropy用于多分类任务，计算目标与预测之间的交叉熵损失。它的输入包括两个参数：预测值和目标值。预测值是一个张量，表示模型对每个类别的预测概率；目标值是一个整数张量，表示样本的真实类别。该函数会将预测值通过softmax函数转换为概率，并计算交叉熵损失。

F.cross_entropy

F.cross_entropy是PyTorch中的交叉熵损失函数，用于计算分类问题的损失。它的计算过程可以分为三个步骤：softmax、log和nll_loss[^1]。

1. softmax：对输入进行softmax操作，将每个元素转化为一个概率值，使得所有概率值的和为1。
2. log：对softmax的结果取对数，得到log_softmax。
3. nll_loss：根据目标标签的索引值，找到log_softmax中对应的值，并取相反数，再求平均。

下面是F.cross_entropy的示例代码：

import torch
import torch.nn.functional as F

# 定义模型输出和目标标签
output = torch.tensor([[0.5, 0.3, 0.2], [0.1, 0.2, 0.7]])
target = torch.tensor([0, 2])

# 使用F.cross_entropy计算损失
loss = F.cross_entropy(output, target)
print(loss)  # 输出：tensor(0.7852)