.CrossEntropyLoss

`CrossEntropyLoss`，通常在深度学习中被称为交叉熵损失函数，是一种用于分类任务的标准损失函数[^4]。它主要用于衡量模型预测的概率分布与真实标签之间的差异。在多分类问题中，每个样本可以对应多个类别的概率，而交叉熵损失则是通过计算这些概率与对应标签之间对数差的负和来度量错误。

在PyTorch中，你可以这样使用`nn.CrossEntropyLoss()`[^5]：

import torch
import torch.nn as nn

# 假设你的模型输出是一个logits tensor（未经过softmax处理的概率）
logits = torch.randn(100, 10)  # (batch_size, num_classes)
labels = torch.randint(0, 10, (100,))  # (batch_size)

# 创建交叉熵损失函数
criterion = nn.CrossEntropyLoss()

# 计算损失
loss = criterion(logits, labels)

相关问题

nn.CrossEntropyLoss

在 PyTorch 中，`nn.CrossEntropyLoss` 是一个常用的损失函数，通常用于多分类问题中。该函数将 softmax 函数和负对数似然损失函数结合在一起，可以直接计算神经网络的输出和真实标签之间的交叉熵损失。

`nn.CrossEntropyLoss` 的输入包括两个部分：神经网络的输出和真实标签。其中，神经网络的输出是一个形状为 `(batch_size, num_classes)` 的张量，其中 `batch_size` 表示批次大小，`num_classes` 表示类别数；真实标签是一个长度为 `batch_size` 的一维张量，其中每个元素的取值范围为 `[0, num_classes-1]`。

使用 `nn.CrossEntropyLoss` 可以在训练过程中方便地计算损失值，并且该函数还可以自动进行反向传播求导。下面是一个简单的使用 `nn.CrossEntropyLoss` 的示例代码：

import torch
import torch.nn as nn

# 定义神经网络的输出和真实标签
outputs = torch.randn(10, 5)  # batch_size=10, num_classes=5
labels = torch.tensor([2, 4, 1, 0, 3, 2, 2, 1, 4, 0])

# 定义损失函数
criterion = nn.CrossEntropyLoss()

# 计算损失值
loss = criterion(outputs, labels)

# 打印损失值
print(loss.item())

在上面的示例中，`outputs` 的形状为 `(10, 5)`，表示有 10 个样本，每个样本有 5 个类别的输出得分。`labels` 是一个长度为 10 的一维张量，表示 10 个样本的真实标签。定义损失函数时，我们直接使用 `nn.CrossEntropyLoss()`，不需要额外设置参数。使用 `loss.item()` 可以得到一个标量，表示该批次样本的平均交叉熵损失。

torch.crossentropyloss

`torch.nn.CrossEntropyLoss` 是一个用于多分类问题的损失函数，通常用于神经网络的最后一层，结合 Softmax 函数使用。它将 Softmax 的输出与标签进行比较，并计算交叉熵损失。它的目标是最小化预测值与真实标签之间的交叉熵损失，从而提高模型的准确率。

具体来说，`CrossEntropyLoss` 的计算公式如下：

$loss(x, class) = -\log(\frac{\exp(x[class])}{\sum_j \exp(x[j])}) = -x[class] + \log(\sum_j \exp(x[j]))$

其中，$x$ 是模型输出的原始值，$class$ 是真实标签的索引。`CrossEntropyLoss` 可以通过 `torch.nn.functional.cross_entropy` 或 `torch.nn.CrossEntropyLoss` 调用。