梯度下降法matlab

在Matlab中实现梯度下降法，需要先定义目标函数及其梯度函数，然后设置初始值和学习率，使用循环迭代更新参数。

以下是一个简单的Matlab代码示例：

% 定义目标函数及其梯度函数
f = @(x) x(1)^2 + x(2)^2; % 目标函数
grad_f = @(x) [2*x(1), 2*x(2)]; % 目标函数的梯度

% 设置初始值和学习率
x0 = [1, 1]; % 初始值
alpha = 0.1; % 学习率

% 使用梯度下降法更新参数
for i = 1:1000 % 迭代1000次
    x0 = x0 - alpha * grad_f(x0); % 更新参数
end

% 输出最终结果
disp(x0);

在实际应用中，通常需要对目标函数进行一些调整，例如添加正则化项，以避免过拟合等问题。此外，还可以使用更高级的优化算法，例如共轭梯度法、拟牛顿法等，以提高收敛速度和精度。

相关问题

梯度下降算法matlab

以下是一个简单的梯度下降算法的Matlab实现，用于最小化给定函数的参数：

% 定义函数
function y = myfunc(x)
    y = x(1)^2 + x(2)^2;
end

% 初始化参数和学习率
x0 = [1; 1];
alpha = 0.1;

% 迭代次数
num_iters = 100;

% 梯度下降算法
for i = 1:num_iters
    % 计算梯度
    grad = [2*x0(1); 2*x0(2)];
    
    % 更新参数
    x0 = x0 - alpha * grad;
    
    % 打印迭代过程中的参数和函数值
    fprintf('Iteration %d: x = [%f, %f], f(x) = %f\n', i, x0(1), x0(2), myfunc(x0));
end

在上述代码中，我们首先定义了一个函数`myfunc`，它是我们要最小化的函数。然后初始化参数和学习率，并进行指定次数的迭代来更新参数。在每次迭代中，我们首先计算梯度，然后使用学习率乘以梯度来更新参数。最后，我们打印出迭代过程中的参数和函数值。

注意：此处的梯度计算和参数更新都是使用了整个数据集，这种方法称为批量梯度下降（Batch Gradient Descent）。在实际应用中，可能需要使用随机梯度下降（Stochastic Gradient Descent）或者小批量梯度下降（Mini-batch Gradient Descent）等更高效的方法。

梯度下降算法Matlab

以下是一个简单的梯度下降算法的 Matlab 实现：

function [theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters)
% X 是训练集特征矩阵，y 是训练集输出向量，theta 是模型参数向量
% alpha 是学习率，num_iters 是迭代次数
% 返回最终的模型参数向量 theta 和每次迭代后的代价函数 J 的值

m = length(y); % 训练集样本数
J_history = zeros(num_iters, 1);

for iter = 1:num_iters
    % 计算假设函数 h 的值
    h = X * theta;
    
    % 计算代价函数 J 的值
    J = 1 / (2 * m) * sum((h - y) .^ 2);
    J_history(iter) = J;
    
    % 更新模型参数向量 theta
    theta = theta - alpha / m * X' * (h - y);
end

end

使用方法示例：

% 构造训练集数据
m = 100; % 样本数
X = [ones(m, 1), rand(m, 1)]; % 特征矩阵
y = 2 * X(:, 2) + randn(m, 1); % 输出向量

% 初始化模型参数向量
theta = zeros(2, 1);

% 设置学习率和迭代次数
alpha = 0.01;
num_iters = 1000;

% 调用梯度下降算法求解模型参数向量
[theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters);

% 绘制代价函数 J 随迭代次数的变化曲线
plot(1:num_iters, J_history, '-b', 'LineWidth', 2);
xlabel('迭代次数');
ylabel('代价函数 J');