2、 批量梯度下降的实现python

批量梯度下降（Batch Gradient Descent）是机器学习中常用的优化算法，可以用于求解损失函数的最小值。以下是一个简单的批量梯度下降的实现示例（假设我们要最小化的损失函数为 $J(w)$，其中 $w$ 是模型的参数，$X$ 是训练数据，$y$ 是训练标签，$\alpha$ 是学习率）：

def batch_gradient_descent(X, y, alpha, num_iterations):
    # 初始化参数
    m, n = X.shape
    w = np.zeros(n)
    # 迭代更新参数
    for i in range(num_iterations):
        # 计算梯度
        grad = np.dot(X.T, np.dot(X, w) - y) / m
        # 更新参数
        w = w - alpha * grad
    return w

其中，$X$ 的维度为 $m \times n$，$m$ 表示样本数，$n$ 表示特征数；$y$ 的维度为 $m \times 1$，表示样本标签。在每次迭代中，我们首先计算损失函数的梯度 $\nabla J(w)$，然后使用梯度下降更新参数 $w$。最终，函数返回学习到的参数 $w$。

注意，在实际使用中，我们还需要对数据进行预处理（比如归一化）、设置合适的学习率和迭代次数等。此外，批量梯度下降可能会陷入局部最小值，因此需要采用一些技巧来避免这种情况的发生。