逻辑回归损失函数的梯度计算表达式

逻辑回归通常采用的是对数似然损失函数（Logistic Loss），也称为交叉熵损失（Cross-Entropy Loss）。其数学表达式为：

\[ L(y, \hat{y}) = -\frac{1}{m} \sum_{i=1}^{m} [ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) ] \]

其中 \( y_i \) 是实际标签（0 或 1），\( \hat{y}_i \) 是模型预测的概率（介于 0 到 1 之间）。为了计算梯度，我们对每个样本求导，得到单个样本的梯度为：

\[ \frac{\partial L}{\partial w_j} = -\frac{1}{m} \left[ x_j( y - \hat{y}) \right] \]
\[ \frac{\partial L}{\partial b} = -\frac{1}{m} \left[ \sum_{i=1}^m ( y_i - \hat{y}_i ) \right] \]

这里的 \( w_j \) 是权重向量中的第 \( j \) 个元素，\( b \) 是偏置项。通过反向传播算法，我们可以从这个基本的单样本梯度开始，更新模型的所有参数。