分类交叉熵损失函数梯度

分类交叉熵损失函数的梯度可以用以下公式表示：

$$\frac{\partial L}{\partial z_i} = \frac{\partial}{\partial z_i} \left(-\sum_{j=1}^C y_j \log(\hat{y}_j)\right) = \hat{y}_i - y_i$$

其中，$L$是分类交叉熵损失函数，$z_i$是输出层第$i$个神经元的输入，$\hat{y}_i$是模型预测的第$i$个类别的概率，$y_i$是实际标签的第$i$个类别的概率。$C$是类别数。

该公式的含义是，分类交叉熵损失函数对于模型预测的每个类别的概率，都会计算一个误差值，即预测值与实际值之间的差距。这个误差值就是梯度，用来更新网络中的权重和偏置，以最小化损失函数。具体来说，对于输出层的每个神经元$i$，梯度的计算方式是将预测值减去实际值，即$\hat{y}_i - y_i$。