sotmax 交叉熵损失函数求导

在深度学习中，交叉熵损失函数常用于多分类问题中衡量模型输出与真实标签之间的差异。对于使用softmax作为激活函数的输出层，我们可以使用交叉熵损失函数进行优化。

设模型的输出为$y=(y_1,y_2,\dots,y_n)$，其中$y_i$表示模型对第$i$类的预测概率。设真实标签为$z=(z_1,z_2,\dots,z_n)$，其中$z_i$表示第$i$类的真实标签（通常取值为0或1）。

交叉熵损失函数定义如下：
$$L(y,z)=-\sum_{i=1}^n z_i \log(y_i)$$

接下来，我们来求解交叉熵对每个预测值的导数。

计算$L$对$y_k$的偏导数：
$$\frac{\partial L}{\partial y_k} = -\frac{\partial}{\partial y_k} \sum_{i=1}^n z_i \log(y_i)$$

由于交叉熵对于除$y_k$以外的其他预测值$y_i$的偏导数为0（可以通过计算验证），因此只需计算$L$对$y_k$的偏导数。

我们可以使用链式法则来进行求导：
$$\frac{\partial L}{\partial y_k} = -\sum_{i=1}^n \frac{\partial}{\partial y_k} (z_i \log(y_i))$$

当$i\neq k$时，$\frac{\partial}{\partial y_k}(z_i \log(y_i))=0$，因此上式可以简化为：
$$\frac{\partial L}{\partial y_k} = -\frac{\partial}{\partial y_k} (z_k \log(y_k)) = -\frac{z_k}{y_k}$$

综上所述，我们得到交叉熵损失函数对于softmax模型输出的偏导数为：
$$\frac{\partial L}{\partial y_k} = \begin{cases}
y_k-z_k, & \text{if $k=j$}\\
y_k, & \text{if $k\neq j$}
\end{cases}$$

其中$j$表示真实标签为1的类别。这样，我们就可以利用该导数来进行反向传播，更新模型参数，从而优化模型。