用matlab实现基于线搜索的学习率更新

下面是一个简单的用 Matlab 实现基于线搜索的学习率更新的示例代码：

假设我们要优化的函数为 f(x) = x^2 + 2x + 1，初始点为 x0 = 0，搜索方向为 p = -2，精度要求为 1e-6。

% 定义目标函数
f = @(x) x^2 + 2*x + 1;
% 初始点
x0 = 0;
% 搜索方向
p = -2;
% 精度要求
epsilon = 1e-6;
% 最大迭代次数
max_iter = 100;
% 初始学习率
alpha = 1;
% 迭代计数器
iter = 0;
while true
    % 计算当前点的函数值和梯度
    fx0 = f(x0);
    gx0 = 2*x0 + 2*p*alpha;
    % 计算新的候选点
    x1 = x0 + alpha * p;
    % 计算新的函数值
    fx1 = f(x1);
    % 判断是否达到精度要求
    if abs(fx1 - fx0) < epsilon
        break;
    end
    % 计算学习率
    alpha = fminbnd(@(a) f(x0 + a * p), 0, 1);
    % 更新参数
    x0 = x0 + alpha * p;
    % 更新迭代计数器
    iter = iter + 1;
    % 判断是否达到最大迭代次数
    if iter >= max_iter
        break;
    end
end
disp(['最优解为 x = ', num2str(x0)]);
disp(['最优值为 f(x) = ', num2str(f(x0))]);

这里使用了 Matlab 自带的 fminbnd 函数来计算学习率，它可以在给定区间内找到一个使函数最小化的值。在每一次迭代中，我们首先计算当前点的函数值和梯度，然后计算新的候选点和函数值。接着，我们使用 fminbnd 函数来计算学习率，最后更新参数和迭代计数器。如果达到了精度要求或者最大迭代次数，则停止迭代。最后输出最优解和最优值。