知识蒸馏损失函数公式

知识蒸馏（Knowledge Distillation）是一种机器学习技术，特别用于将一个复杂的模型（通常是教师模型，Teacher Model）的内部表示或决策传递给一个更小、更简单的模型（学生模型，Student Model）。在这个过程中，传统的交叉熵损失不足以捕捉到教师模型的丰富信息，因此引入了一个新的损失函数，即知识蒸馏损失。知识蒸馏损失函数通常由两部分组成：

1. **标准交叉熵损失**（Cross-Entropy Loss for Soft Targets）：这是学生模型对标签的预测和真实标签之间的差异，类似于训练常规分类任务的损失。

\[ L_{CE} = -\sum_{i=1}^{N} y_i \log(p_i) \]
其中 \( N \) 是样本数量，\( y_i \) 是第 \( i \) 个样本的真实标签，\( p_i \) 是学生模型对该样本的预测概率。

2. **知识蒸馏损失**（Distillation Loss）：这部分是学生模型预测的软标签（即概率分布）和教师模型对同一输入的预测软标签之间的Kullback-Leibler散度（KL Divergence），或者有时候使用均方误差（MSE）。

\[ L_{KD} = \sum_{i=1}^{N} T_i \log \left( \frac{T_i}{p_i^s} \right) \]
或者
\[ L_{MSE} = \frac{1}{N} \sum_{i=1}^{N} (T_i - p_i^s)^2 \]
其中 \( T_i \) 是教师模型输出的概率，\( p_i^s \) 是学生模型输出的概率。

总的知识蒸馏损失 \( L_{total} \) 通常是标准交叉熵损失和知识蒸馏损失的加权和：

\[ L_{total} = \alpha L_{CE} + (1 - \alpha) L_{KD} \]
其中 \( \alpha \) 是一个平衡系数，决定如何权衡两种损失。