Armijo 线搜索算法

Armijo 线搜索算法是一种用于优化问题的迭代算法，通常用于求解无约束非线性优化问题。该算法的目的是确定在给定的搜索方向上函数下降的步长大小，以便在每次迭代中更新当前解。Armijo 线搜索算法基于一种称为 Armijo 条件的线性搜索准则，该准则确保函数值得到足够的减小。

Armijo 条件的基本思想是，在搜索方向上沿着一定步长移动，如果函数值得到了足够的减小，那么继续沿着该方向移动；否则，减小步长并重复该过程，直到满足准则为止。具体地，Armijo 线搜索算法通过以下步骤确定步长大小：

1. 初始化步长为1。
2. 计算下降方向的梯度。
3. 沿着下降方向移动一定步长，计算新的函数值。
4. 判断是否满足 Armijo 条件：如果新的函数值小于等于当前函数值加上一定量的下降量，那么接受该步长；否则，将步长减小并重复第三步和第四步，直到满足条件为止。

Armijo 线搜索算法的优点是简单易实现，但由于每次迭代需要计算梯度和函数值，因此计算成本较高。此外，该算法对于某些问题可能会产生震荡现象，即步长大小在较小范围内来回波动。