python梯度下降算法

梯度下降算法是一种常用的优化算法，用于求解最小化目标函数的参数。在Python中实现梯度下降算法需要以下几个步骤：

1. 准备数据：将输入变量x和目标变量y整理成矩阵形式，可以使用NumPy库来完成这一步骤。例如，可以使用np.hstack将x和一个全为1的列向量合并，作为输入矩阵X_b。

2. 初始化参数：将待求解的参数向量theta初始化为0，可以使用NumPy的np.zeros函数来实现。

3. 定义学习率：选择一个合适的学习率eta来控制每次更新参数的步长。

4. 定义损失函数：根据具体问题定义损失函数，一般使用均方误差(MSE)作为损失函数。

5. 进行迭代更新：重复以下步骤直到达到停止条件：
- 计算梯度：根据当前参数值计算梯度向量，即损失函数对各个参数的偏导数。
- 更新参数：使用学习率乘以梯度向量，更新参数向量theta。
- 计算损失：计算更新后的参数对应的损失值。

6. 返回最优参数：当达到停止条件时，返回最优参数theta。

下面是一个示例代码，演示了如何在Python中实现梯度下降算法：

import numpy as np

def gradient_descent(X, y, initial_theta, eta, n_iterations):
    m = len(X)
    theta = initial_theta
    for iteration in range(n_iterations):
        gradients = 2/m * X.T.dot(X.dot(theta) - y)
        theta = theta - eta * gradients
    return theta

# 准备数据
X_b = np.hstack([np.ones((len(x), 1)), x.reshape(-1, 1)])
y = 4. * x + 3.

# 初始化参数
initial_theta = np.zeros(X_b.shape