使用交叉熵损失函数式不是不能用激活函数softmax么？你的代码怎么同时用了呢？

交叉熵损失函数通常与softmax激活函数一起使用，因为softmax函数可以将输出转化为概率分布，使得交叉熵损失函数可以衡量预测值与真实值之间的差距。因此，在使用交叉熵损失函数时，通常会使用softmax激活函数。

在代码中，可以先使用softmax激活函数将输出转化为概率分布，然后再计算交叉熵损失函数。例如，对于二分类问题，可以使用sigmoid激活函数将输出转化为0或1的概率，然后再计算交叉熵损失函数。因此，代码中同时使用了softmax激活函数和交叉熵损失函数是合理的。

相关问题

sotmax 交叉熵损失函数求导

在深度学习中，交叉熵损失函数常用于多分类问题中衡量模型输出与真实标签之间的差异。对于使用softmax作为激活函数的输出层，我们可以使用交叉熵损失函数进行优化。

设模型的输出为$y=(y_1,y_2,\dots,y_n)$，其中$y_i$表示模型对第$i$类的预测概率。设真实标签为$z=(z_1,z_2,\dots,z_n)$，其中$z_i$表示第$i$类的真实标签（通常取值为0或1）。

交叉熵损失函数定义如下：
$$L(y,z)=-\sum_{i=1}^n z_i \log(y_i)$$

接下来，我们来求解交叉熵对每个预测值的导数。

计算$L$对$y_k$的偏导数：
$$\frac{\partial L}{\partial y_k} = -\frac{\partial}{\partial y_k} \sum_{i=1}^n z_i \log(y_i)$$

由于交叉熵对于除$y_k$以外的其他预测值$y_i$的偏导数为0（可以通过计算验证），因此只需计算$L$对$y_k$的偏导数。

我们可以使用链式法则来进行求导：
$$\frac{\partial L}{\partial y_k} = -\sum_{i=1}^n \frac{\partial}{\partial y_k} (z_i \log(y_i))$$

当$i\neq k$时，$\frac{\partial}{\partial y_k}(z_i \log(y_i))=0$，因此上式可以简化为：
$$\frac{\partial L}{\partial y_k} = -\frac{\partial}{\partial y_k} (z_k \log(y_k)) = -\frac{z_k}{y_k}$$

综上所述，我们得到交叉熵损失函数对于softmax模型输出的偏导数为：
$$\frac{\partial L}{\partial y_k} = \begin{cases}
y_k-z_k, & \text{if $k=j$}\\
y_k, & \text{if $k\neq j$}
\end{cases}$$

其中$j$表示真实标签为1的类别。这样，我们就可以利用该导数来进行反向传播，更新模型参数，从而优化模型。