梯度下降法matlab

梯度下降法（Gradient Descent）是一种常用的优化算法，常用于机器学习中的参数求解。在 MATLAB 中，可以通过以下步骤实现梯度下降法：

1. 定义代价函数（Cost Function）：代价函数是梯度下降法的核心，它是根据训练数据和模型参数计算出来的一个值，用来评估模型的好坏。在 MATLAB 中，可以定义一个函数来表示代价函数，例如：

function J = cost_function(X, y, theta)
  m = length(y);
  J = sum((X * theta - y).^2) / (2 * m);
end

其中，X 是训练数据的特征矩阵，y 是训练数据的目标值向量，theta 是模型参数向量，m 是训练数据的样本数量。

2. 定义梯度函数（Gradient Function）：梯度函数是代价函数的偏导数，它表示代价函数相对于每个模型参数的变化率。在 MATLAB 中，可以定义一个函数来表示梯度函数，例如：

function grad = gradient_function(X, y, theta)
  m = length(y);
  grad = X' * (X * theta - y) / m;
end

其中，X 是训练数据的特征矩阵，y 是训练数据的目标值向量，theta 是模型参数向量，m 是训练数据的样本数量。

3. 初始化模型参数：在使用梯度下降法求解模型参数之前，需要先对模型参数进行初始化，通常可以将模型参数设置为 0 或者一个较小的随机数。例如：

theta = randn(size(X, 2), 1);

其中，size(X, 2) 表示特征矩阵 X 的第二维大小，即特征数量。

4. 迭代更新模型参数：使用梯度下降法求解模型参数的核心是迭代更新模型参数，直到满足停止条件。在每次迭代中，需要计算代价函数和梯度函数，然后根据学习率和梯度方向更新模型参数。例如：

alpha = 0.01; % 学习率
max_iter = 1000; % 最大迭代次数
epsilon = 1e-5; % 停止条件
for i = 1:max_iter
  J = cost_function(X, y, theta);
  grad = gradient_function(X, y, theta);
  theta = theta - alpha * grad;
  if norm(grad) < epsilon % 判断是否满足停止条件
    break;
  end
end

其中，alpha 是学习率，max_iter 是最大迭代次数，epsilon 是停止条件，norm(grad) 表示梯度向量的 L2 范数。

5. 预测：使用训练好的模型参数来预测新的数据。例如：

y_pred = X_test * theta;

其中，X_test 是测试数据的特征矩阵，y_pred 是预测值向量。

以上就是使用 MATLAB 实现梯度下降法的基本步骤。需要注意的是，在实际应用中，为了提高收敛速度和稳定性，通常会使用一些优化技巧，如学习率调整、批量梯度下降、随机梯度下降等。