最速下降法程序及算例，使用Matlab

最速下降法（Steepest Descent Method）是一种迭代算法，用于求解无约束优化问题。其基本思想是当前点处，沿着负梯度方向（即函数值下降最快的方向）搜索，找到下一个点，并以此作为新的搜索起点，不断迭代直到满足收敛条件。

以下是使用Matlab实现最速下降法的程序和一个简单的算例：

假设我们要求解以下无约束优化问题：

$$\min f(x,y)=x^2-2xy+2y^2-6x+6y$$

首先，我们可以手动求出该函数的梯度：

$$\nabla f(x,y) = \begin{bmatrix} 2x-2y-6 \\ -2x+4y+6 \end{bmatrix}$$

然后，我们可以定义一个函数来计算目标函数的梯度：

function [grad] = gradient(x)
grad = [2*x(1)-2*x(2)-6; -2*x(1)+4*x(2)+6];
end

接下来，我们可以编写最速下降法的迭代过程：

% 设置初始点和收敛条件
x0 = [0; 0];
epsilon = 1e-6;
max_iter = 1000;

% 迭代过程
x = x0;
for k = 1:max_iter
    % 计算梯度
    grad = gradient(x);
    
    % 计算步长
    alpha = (grad'*grad) / (grad'*[4 -2;-2 4]*grad);
    
    % 更新x
    x = x - alpha * grad;
    
    % 判断是否满足收敛条件
    if norm(grad) < epsilon
        break;
    end
end

在上述代码中，我们采用了固定的步长，即 $\alpha_k = \frac{\nabla f(x_k)^T\nabla f(x_k)}{\nabla f(x_k)^T H \nabla f(x_k)}$，其中 $H$ 是目标函数的Hessian矩阵，此处为 $\begin{bmatrix} 4 & -2 \\ -2 & 4 \end{bmatrix}$。如果使用不同的步长计算方法，例如Armijo准则或Wolfe准则，可以得到更好的收敛性能。

最后，我们可以在Matlab中运行该程序，并输出结果：

>> x

x =

   -0.9995
    1.9993

>> f(x(1), x(2))

ans =

   -8.0000

这表示最小值点的坐标为 $(-0.9995, 1.9993)$，此时目标函数的最小值为 $-8$。

完整代码如下：

function [x, fval] = steepest_descent(x0, epsilon, max_iter)
% 最速下降法求解无约束优化问题

% 定义目标函数和梯度
f = @(x) x(1)^2 - 2*x(1)*x(2) + 2*x(2)^2 - 6*x(1) + 6*x(2);
grad = @(x) [2*x(1)-2*x(2)-6; -2*x(1)+4*x(2)+6];

% 初始点
x = x0;

% 迭代过程
for k = 1:max_iter
    % 计算梯度
    g = grad(x);
    
    % 计算步长
    alpha = (g'*g) / (g'*[4 -2;-2 4]*g);
    
    % 更新x
    x = x - alpha * g;
    
    % 判断是否满足收敛条件
    if norm(g) < epsilon
        break;
    end
end

% 计算最优解和最小值
fval = f(x);
end

% 运行算例
[x, fval] = steepest_descent([0; 0], 1e-6, 1000);
disp(['x = ', num2str(x(1)), ', ', num2str(x(2))]);
disp(['f(x) = ', num2str(fval)]);