批量梯度下降 随机梯度下降

批量梯度下降和随机梯度下降都是梯度下降法的变种，用于求解机器学习模型中的参数。批量梯度下降是指在每次迭代时，使用所有的训练样本来计算损失函数的梯度，并更新模型参数。这种方法可以得到全局最优解，但计算代价较大，不适用于大规模数据集。而随机梯度下降则是在每次迭代时，随机选择一个训练样本来计算损失函数的梯度，并更新模型参数。这种方法计算代价较小，适用于大规模数据集，但可能会导致收敛到局部最优解。另外，还有一种介于批量梯度下降和随机梯度下降之间的方法，叫做小批量梯度下降，即每次迭代时，使用一部分训练样本来计算损失函数的梯度，并更新模型参数。这种方法可以平衡计算代价和收敛速度。

相关问题

1、请根据选择任一梯度下降算法（批量梯度下降、随机梯度下降或小批量梯度下降）求解多元线性回归的方程，并计算1、请根据选择任一梯度下降算法（批量梯度下降、随机梯度下降或小批量梯度下降）求解多元线性回归的方程，并计算相关系数，手动导入数据

在Python中，我们可以使用梯度下降算法来求解多元线性回归问题。这里我会分别介绍三种梯度下降方法如何应用到这个问题上：

1. 批量梯度下降 (Batch Gradient Descent):
这种方法在每次迭代时都会用整个训练集的数据来更新模型参数。对于每个训练样本，我们需要计算损失函数对所有权重的偏导数，然后取平均值进行权重更新。

import numpy as np
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score

# 加载波士顿房价数据
boston = load_boston()
X, y = boston.data, boston.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# 初始化权重
w = np.zeros(X.shape[1])

# 设置学习率和最大迭代次数
learning_rate = 0.01
max_iterations = 1000

for _ in range(max_iterations):
    # 使用批量梯度下降更新权重
    w -= learning_rate * np.dot((X_train.T @ (X_train @ w - y_train)), X_train) / X_train.shape[0]

# 建立模型并预测
batch_regression = LinearRegression(fit_intercept=False)
batch_regression.coef_ = w
predictions = batch_regression.predict(X_test)

# 计算R²分数（相关系数平方）
r2_batch = r2_score(y_test, predictions)

2. 随机梯度下降 (Stochastic Gradient Descent, SGD):
每次迭代只用一个随机选取的训练样本更新模型。这种方法更快，但可能会在收敛速度和稳定性之间有所妥协。

def sgd(X, y, w, learning_rate, max_iterations):
    for _ in range(max_iterations):
        random_index = np.random.randint(0, len(X))
        gradient = (np.dot((X[random_index] @ w - y[random_index]), X[random_index]))
        w -= learning_rate * gradient
    return w

# 使用随机梯度下降
w_sgd = sgd(X_train, y_train, w.copy(), learning_rate, max_iterations)

# 其他步骤同上
sgd_regression = LinearRegression(fit_intercept=False)
sgd_regression.coef_ = w_sgd
predictions_sgd = sgd_regression.predict(X_test)
r2_sgd = r2_score(y_test, predictions_sgd)

3. 小批量梯度下降 (Mini-batch Gradient Descent):
它结合了批量和随机梯度下降的优点，每次迭代使用一小批随机选取的样本更新权重。

def mini_batch_gradient_descent(X, y, w, batch_size, learning_rate, max_iterations):
    for _ in range(max_iterations):
        for i in range(0, len(X), batch_size):
            gradient = (np.dot((X[i:i+batch_size] @ w - y[i:i+batch_size]).T, X[i:i+batch_size]) / batch_size)
            w -= learning_rate * gradient
    return w

# 使用小批量梯度下降
batch_size = 10
w_mini_batch = mini_batch_gradient_descent(X_train, y_train, w.copy(), batch_size, learning_rate, max_iterations)

# 其他步骤同上
mini_batch_regression = LinearRegression(fit_intercept=False)
mini_batch_regression.coef_ = w_mini_batch
predictions_mini_batch = mini_batch_regression.predict(X_test)
r2_mini_batch = r2_score(y_test, predictions_mini_batch)

批量梯度下降，小批量梯度下降以及随机梯度下降对比以及实现

批量梯度下降、小批量梯度下降和随机梯度下降都是常用的优化算法，用于训练机器学习模型时更新权重以最小化损失函数。它们之间的区别在于每次迭代所使用的样本数：

1. **批量梯度下降 (Batch Gradient Descent)**: 每次迭代都使用整个数据集中的所有样本来计算梯度并更新模型参数。这可以提供最准确的方向，但计算成本高，特别是对于大数据集，可能不适合在线学习。

2. **小批量梯度下降 (Stochastic Gradient Descent, SGD)**: 每次迭代只使用一小部分样本（比如几十或几百个），这大大减少了计算时间。然而，由于随机选取的样本可能导致更新方向不稳定，可能会有较大的波动。

3. **随机梯度下降 (Random Gradient Descent, RGD) 或简称随机梯度法**: 类似于小批量，每次仅取一个随机样本进行更新。这意味着它的计算速度最快，但收敛过程可能跳跃性大，不连续。

实现上，这些算法通常通过编程语言的数值库（如Python的NumPy或TensorFlow）来实现，核心是一个循环，每次迭代过程中会根据当前的梯度信息调整模型参数。以下是基本步骤：

- 初始化模型参数
- 对每个训练样本：
- 计算当前样本的梯度
- 更新模型参数（通常是减去学习率乘以梯度）
- 可选：重复这个过程直到达到预设的迭代次数或达到某个停止条件