标准化温度标度交叉熵损失
时间: 2023-11-17 21:56:56 浏览: 328
标准化温度标度交叉熵损失(Normalized Temperature Scale Cross-Entropy Loss)是一种用于多分类问题的损失函数,它在计算交叉熵损失时,将预测值除以一个温度参数,以降低预测值的噪声敏感性,从而提高模型的鲁棒性和泛化能力。
具体来说,对于一个样本 $x$,其真实标签为 $y$,模型的预测值为 $\hat{y}$,温度参数为 $T$,则标准化温度标度交叉熵损失的计算公式如下:
$$
L_{NT-XE}(x,y)=-\frac{1}{T}\sum_{i=1}^{C}y_i\log\frac{\exp(\hat{y}_i/T)}{\sum_{j=1}^{C}\exp(\hat{y}_j/T)}
$$
其中,$C$ 表示类别数。
阅读全文