CrossEntropyLoss和LogSoftmax

CrossEntropyLoss和LogSoftmax是深度学习中常用的两种损失函数。

CrossEntropyLoss（交叉熵损失函数）是一种常用的分类损失函数，通常用于多分类问题中。该损失函数将模型输出的概率分布与实际标签的概率分布进行比较，并计算它们之间的异同程度，从而衡量模型的准确性。具体来说，CrossEntropyLoss用于衡量两个概率分布之间的交叉熵，其数学表达式为：

$$
Loss_{CE}(y,\hat{y}) = -\sum_{i=1}^n y_i log(\hat{y}_i)
$$

其中，$y$是实际标签的概率分布，$\hat{y}$是模型输出的概率分布，$n$是类别数。

LogSoftmax是一种常用的激活函数，通常用于多分类问题中。该函数可以将模型输出的数值转化为概率分布，从而方便计算交叉熵损失。具体来说，LogSoftmax将模型输出的数值进行指数函数运算和对数函数运算，得到一个概率分布，并保证其各个元素的和为1。其数学表达式为：

$$
LogSoftmax(x_i) = log\frac{exp(x_i)}{\sum_{j=1}^n exp(x_j)}
$$

其中，$x_i$是模型输出的第$i$个数值，$n$是类别数。

在实际应用中，通常将LogSoftmax函数和CrossEntropyLoss损失函数结合使用，从而构建一个多分类模型。具体来说，先通过LogSoftmax函数将模型输出的数值转化为概率分布，再通过CrossEntropyLoss损失函数计算模型的损失。这样可以有效地优化模型，在多分类问题中取得较好的表现。