牛顿迭代法计算逻辑回归损失函数

牛顿迭代法是一种优化算法，常用于求解非线性方程组，包括在机器学习中最小化损失函数的过程，如逻辑回归的代价函数。逻辑回归的损失函数通常是交叉熵损失，对于单个样本 \( (x_i, y_i) \)，其损失可以表示为：

\[ J(\theta) = -y_i \ln(h_\theta(x_i)) - (1-y_i) \ln(1-h_\theta(x_i)) \]

其中 \( h_\theta(x) \) 表示模型预测的概率，通常是一个sigmoid函数 \( \sigma(z) = \frac{1}{1+e^{-z}} \)，\( z = \theta^T x \)。

为了使用牛顿迭代法，我们需要对损失函数关于参数 \( \theta \) 的梯度和Hessian矩阵（二阶导数）进行计算。初始迭代时，我们假设 \( \theta_0 \) 为初始值，然后按照以下步骤更新参数：

1. 计算梯度 \( g = \nabla J(\theta) \)，它表示损失函数对每个参数的偏导数之和。
2. 计算Hessian矩阵 \( H = \frac{\partial^2 J}{\partial \theta^2} \) 或近似它，这一步通常在实际应用中通过动量法、批量或随机梯度下降的二阶泰勒展开来简化。
3. 执行牛顿步：\( \theta_{t+1} = \theta_t - H^{-1}g \)，即使用负Hessian的逆作为方向并乘以梯度的大小进行调整。

这个过程会不断迭代直到达到预设的停止条件，比如达到最大迭代次数，或梯度变化小于某个阈值。注意，由于Hessian计算复杂，实际应用中往往采用更简单的优化方法，例如L-BFGS（Limited-memory Broyden–Fletcher–Goldfarb–Shanno）或 conjugate gradient 等。