加权交叉熵损失函数公式

加权交叉熵损失函数公式如下所示：
$$
loss = -\frac{1}{N}\sum_{i=1}^{N}\sum_{j=1}^{C}w_jy_{ij}\log(p_{ij})
$$
其中，$N$表示样本数量，$C$表示类别数量，$w_j$表示第$j$个类别的权重，$y_{ij}$表示第$i$个样本的第$j$个类别的真实标签，$p_{ij}$表示第$i$个样本的第$j$个类别的预测概率。

相关问题

加权交叉熵损失函数的公式

加权交叉熵损失函数是一种常用的分类问题损失函数，它在处理不平数据集时特别有用。其公如下：

加权交叉熵损失函数公式：
L = - ∑(y * log(y_hat) * w + (1 - y) * log(1 - y_hat) * (1 - w))

其中，
- L表示损失函数的值；
- y表示真实标签；
- y_hat表示模型的预测值；
- w表示样本的权重。

在该公式中，当样本的真实标签为1时，第一项y * log(y_hat) * w起主导作用；当样本的真实标签为0时，第二项(1 - y) * log(1 - y_hat) * (1 - w)起主导作用。通过调整权重w，可以对不同类别的样本进行加权处理，以解决数据集不平衡问题。

交叉熵损失函数与加权交叉熵损失函数的区别

### 交叉熵损失函数与加权交叉熵损失函数的区别

#### 定义与公式表达

交叉熵损失函数用于衡量真实标签 \( y \) 和模型预测概率分布 \( p(y|x) \) 之间的差异。对于二分类问题，其定义如下：

\[ L_{CE} = -\left[y \log(p) + (1-y)\log(1-p)\right] \]

其中 \( y \in {0, 1} \)，\( p \) 是样本属于正类的概率。

为了处理类别不平衡的数据集，在标准交叉熵基础上引入权重因子得到加权交叉熵损失函数:

\[ L_{WCE}(y,p,w_+,w_-)=−[yw_+\log⁡p+(1−y)w_-\log⁡(1−p)] \]

这里 \( w_+ \) 和 \( w_- \) 分别代表正负样本对应的权重系数[^2]。

#### 应用场景分析

当面对严重偏斜的数据集时——即某一类别的实例数远多于其他类别的情况，简单应用常规交叉熵可能导致模型偏向多数类而忽略少数类的学习效果。此时通过调整不同类目的权重参数可以使得训练过程中更加关注稀有事件的发生频率，从而改善整体性能表现[^4]。

import torch.nn as nn

# Standard Cross Entropy Loss Function
criterion_ce = nn.CrossEntropyLoss()

# Weighted Cross Entropy Loss Function with custom weights for each class
weights = torch.tensor([0.7, 0.3])  # Example weight vector; adjust according to dataset imbalance ratio.
criterion_wce = nn.CrossEntropyLoss(weight=weights)