交叉熵损失函数来自那篇文献

交叉熵损失函数最早来自于信息论的研究，Shannon在1948年的论文《A Mathematical Theory of Communication》中提出了信息熵的概念，而交叉熵是指两个概率分布之间的差异度量，是信息熵的一个变种。在机器学习领域，交叉熵损失函数被广泛应用于分类问题中，它在神经网络中的应用最早可以追溯到1990年代。具体的文献可能有很多篇，比如深度学习领域最近比较流行的AlexNet模型中使用的交叉熵损失函数，其文献引用可以参考Krizhevsky等人在2012年发表的论文《ImageNet Classification with Deep Convolutional Neural Networks》。

相关问题

平衡交叉熵损失函数的来源文献

平衡交叉熵损失函数的来源文献是 "Focal Loss for Dense Object Detection"，由 Tsung-Yi Lin, Priya Goyal, Ross Girshick 和 Kaiming He 在2017年发表的论文。该论文提出了一种新的损失函数，称为 Focal Loss，用于解决目标检测中类别不平衡问题。平衡交叉熵损失函数是 Focal Loss 的一种特殊情况。

加权交叉熵损失函数文献

加权交叉熵损失函数（Weighted Cross-Entropy Loss）是一种用于分类问题的损失函数，特别是在类别不平衡的情况下，比如二元分类任务中正负样本数目差异很大。它通过给每个类分配不同的权重来调整损失计算，使得模型更关注少数类别的预测。相比于标准的交叉熵损失（Cross-Entropy），加权版本会放大较少类别的误差，以此提高模型对这类样本的学习。

其数学表达式通常为：
\[ L = -\sum_{i=1}^{n} w_i \cdot y_i \cdot \log(\hat{y}_i) \]
其中 \( w_i \) 是第 \( i \) 类的权重，\( y_i \) 是真实标签（0 或 1），而 \( \hat{y}_i \) 是模型预测的概率。

在文献中，例如机器学习领域的一些论文和教程中，如《Hands-On Machine Learning with Scikit-Learn & TensorFlow》、《Deep Learning Book》等，都会提到如何在深度学习中使用加权交叉熵作为优化目标，尤其是在处理不平衡数据集的时候。