用scale实现牛顿法逻辑回归

牛顿法是一种优化算法，可以用于逻辑回归模型的参数估计。在牛顿法中，我们需要求解目标函数的一阶和二阶导数。在逻辑回归中，目标函数是对数似然函数，其一阶和二阶导数可以通过推导得到。具体实现如下：

1. 定义目标函数：对数似然函数

$$ J(\theta) = -\frac{1}{m} \sum_{i=1}^{m} [y^{(i)}\log(h_{\theta}(x^{(i)})) + (1-y^{(i)})\log(1-h_{\theta}(x^{(i)}))] $$

其中，$h_{\theta}(x^{(i)})$ 表示逻辑回归模型的预测值，即：

$$ h_{\theta}(x^{(i)}) = \frac{1}{1+e^{-\theta^Tx^{(i)}}} $$

2. 求解一阶导数和二阶导数

$$ \frac{\partial J(\theta)}{\partial \theta_j} = \frac{1}{m} \sum_{i=1}^{m} (h_{\theta}(x^{(i)}) - y^{(i)}) x_j^{(i)} $$

$$ \frac{\partial^2 J(\theta)}{\partial \theta_j \partial \theta_k} = \frac{1}{m} \sum_{i=1}^{m} h_{\theta}(x^{(i)}) (1 - h_{\theta}(x^{(i)})) x_j^{(i)} x_k^{(i)} $$

3. 实现牛顿法迭代过程：

- 初始化参数 $\theta$；
- 计算目标函数的一阶导数和二阶导数；
- 计算 Hessian 矩阵，即二阶导数的矩阵；
- 更新参数 $\theta$，其中 $\alpha$ 为学习率，$\textbf{H}^{-1}$ 表示 Hessian 矩阵的逆矩阵：

$$ \theta := \theta - \alpha \textbf{H}^{-1} \nabla_{\theta} J(\theta) $$

- 重复步骤 2-4，直到目标函数收敛。

4. 实现代码如下：

import numpy as np

def sigmoid(z):
    """
    sigmoid函数
    """
    return 1 / (1 + np.exp(-z))

def costFunction(theta, X, y):
    """
    对数似然函数
    """
    m = len(y)
    h = sigmoid(X.dot(theta))
    J = -1 / m * (y.T.dot(np.log(h)) + (1 - y).T.dot(np.log(1 - h)))
    return J

def gradient(theta, X, y):
    """
    目标函数的一阶导数
    """
    m = len(y)
    h = sigmoid(X.dot(theta))
    grad = 1 / m * X.T.dot(h - y)
    return grad

def hessian(theta, X, y):
    """
    目标函数的二阶导数
    """
    m = len(y)
    h = sigmoid(X.dot(theta))
    H = 1 / m * X.T.dot(np.diag(h * (1 - h))).dot(X)
    return H

def newtonMethod(theta, X, y, alpha=1, max_iters=100):
    """
    牛顿法迭代过程
    """
    m, n = X.shape
    J_history = []
    for i in range(max_iters):
        J = costFunction(theta, X, y)
        grad = gradient(theta, X, y)
        H = hessian(theta, X, y)
        theta = theta - alpha * np.linalg.inv(H).dot(grad)
        J_history.append(J)
    return theta, J_history