在深度学习中，交叉熵损失函数的相关介绍

交叉熵损失函数（Cross-Entropy Loss Function）是深度学习中常用的一种损失函数。它是在分类问题中用来度量模型预测结果和真实结果之间的差异的一个有效指标。

对于一个二分类问题，假设有$n$个样本，每个样本有两个类别，交叉熵损失函数定义如下：

$$L=-\frac{1}{n}\sum_{i=1}^{n}[y_i\log{\hat{y}_i}+(1-y_i)\log{(1-\hat{y}_i)}]$$

其中，$y_i$表示第$i$个样本的真实标签是1的概率（0或1），$\hat{y}_i$表示模型预测的第$i$个样本属于1的概率。

对于一个多分类问题，假设有$n$个样本，每个样本有$k$个类别，交叉熵损失函数定义如下：

$$L=-\frac{1}{n}\sum_{i=1}^{n}\sum_{j=1}^{k}y_{ij}\log{\hat{y}_{ij}}$$

其中，$y_{ij}$表示第$i$个样本的真实标签是第$j$个类别的概率（0或1），$\hat{y}_{ij}$表示模型预测的第$i$个样本属于第$j$个类别的概率。

交叉熵损失函数的特点是能够在模型预测的结果和真实结果之间产生较大的差异，从而促使模型更好地学习和优化。此外，交叉熵损失函数还具有梯度下降的性质，可以使用反向传播算法进行模型训练和优化。因此，交叉熵损失函数在深度学习中被广泛应用于分类问题的损失函数中。

相关问题

交叉熵损失函数与二元交叉熵损失函数

交叉熵损失函数（CrossEntropyLoss）是一类广泛用于分类任务的损失函数，特别是在深度学习神经网络中。它衡量的是模型预测的概率分布与实际标签分布之间的差异。对于二元分类（如正样本和负样本），我们通常会遇到二元交叉熵损失（Binary Cross Entropy Loss，BCELoss）。

二元交叉熵损失是对单个样本的计算，假设我们的预测概率是\( p \)，真实标签是\( y \)（0 或 1）。如果\( y = 1 \)，则损失\( L \)计算如下[^2]:
\[ L(p, y=1) = -\log(p) \]
如果\( y = 0 \)，则损失为：
\[ L(p, y=0) = -\log(1-p) \]

这里的关键点在于，当\( y \)是确定的（即0或1），那么只有其中一项会是非零的，因为另一项会被对数函数变为0，从而使得整个损失为0[^1]。因此，二元交叉熵损失简化了传统多分类情况下可能存在的复杂性，直接针对每个样本的两个类别进行评估。

在实践中，BCELoss经常被用于sigmoid激活函数的输出层，因为它能有效地处理这种非线性决策边界的情况。

交叉熵损失函数在深度学习的公式

### 交叉熵损失函数在深度学习中的数学表达

对于二分类问题，交叉熵损失函数定义如下：

如果模型预测的概率分布为 \( p \)，真实标签概率分布为 \( q \)，那么针对单一样本的交叉熵损失可表示为:

\[ L(p, q) = -\sum_{i}q_i \log(p_i) \]

具体到二元分类情况下，假设样本的真实标签为 \( y \in {0, 1} \)，而模型给出该样本属于正类别的预测概率为 \( \hat{y} \)，则对应的交叉熵损失公式简化为[^2]:

\[ Loss(y,\hat{y})=-[y\log(\hat{y})+(1-y)\log(1-\hat{y})] \]

多分类场景下，设总共有 K 类，则 Softmax 函数配合使用的交叉熵损失形式变为[^4]:

import numpy as np

def softmax_cross_entropy_loss(logits, labels):
    """
    计算softmax交叉熵损失
    
    参数:
        logits: 形状为[N,C]的未归一化分数数组(N是批次大小,C是类别数)
        labels: 长度为N的实际类别索引列表
        
    返回:
        平均损失值
    """
    N = logits.shape[0]
    exp_logits = np.exp(logits - np.max(logits, axis=1, keepdims=True))
    probs = exp_logits / np.sum(exp_logits, axis=1, keepdims=True)
    correct_logprobs = -np.log(probs[range(N), labels])
    loss = np.sum(correct_logprobs) / N
    return loss

上述实现展示了如何基于给定的日志几率（即未经变换前的原始输出）计算平均交叉熵损失。