Matlab实现最速下降法

最速下降法是一种求解无约束优化问题的基本方法之一，其思想是在每次迭代中，沿着当前点到下降方向的负梯度方向走一步，以期望能够找到下降最快的方向。下面给出Matlab实现最速下降法的代码示例。

假设要求解的目标函数为 $f(x)$，初始点为 $x_0$，下降方向为 $d_k$，则最速下降法的迭代公式如下：

$$ x_{k+1} = x_k - \alpha_k \nabla f(x_k) $$

其中 $\alpha_k$ 是步长（也称为学习率），可以通过一定的搜索方法进行确定，通常是通过线性搜索或Armijo搜索来确定。

Matlab代码实现如下：

function [x,fval,iter] = steepestDescent(f,gradf,x0,maxIter,tol)
% f: 目标函数句柄
% gradf: 梯度函数句柄
% x0: 初始点
% maxIter: 最大迭代次数
% tol: 收敛精度
% x: 迭代收敛的最优解
% fval: 目标函数在最优解处的取值
% iter: 实际迭代次数

% 初始化
x = x0;
fval = f(x);
iter = 0;

% 最速下降法迭代
while iter < maxIter
    % 计算梯度
    g = gradf(x);
    % 判断是否满足收敛精度
    if norm(g) < tol
        break;
    end
    % 计算步长
    alpha = backtracking(x,g,-g,f,gradf);
    % 更新x
    x = x - alpha * g;
    % 更新目标函数值
    fval = f(x);
    % 更新迭代次数
    iter = iter + 1;
end

end

function alpha = backtracking(x,d,g,f,gradf)
% 线搜索求步长
alpha = 1;
rho = 0.5;
c = 1e-4;
while f(x+alpha*d) > f(x) + c*alpha*gradf(x)'*d
    alpha = rho * alpha;
end

end

其中，`backtracking` 函数是线性搜索的具体实现，这里使用的是Armijo搜索方法。`f` 和 `gradf` 分别是目标函数和梯度函数的句柄，需要在调用函数时传入。`maxIter` 和 `tol` 分别是最大迭代次数和收敛精度，可以根据具体问题进行设置。