《Numerical Optimization》第三章：线搜索方法详解与策略

本章节主要探讨的是数值最优化中的一个重要概念——线搜索方法。线搜索是一种在求解优化问题时，每次迭代中通过选择合适的下降方向和步长来逐步接近最优解的过程。在迭代过程中，关键在于找到一个下降方向 \( p_k \)，通常要求它满足 \( p_k^T\nabla f_k < 0 \)，确保函数沿着该方向递减。 线搜索中的方向选择主要有三种： 1. **最速下降方向**：当方向矩阵 \( B_k \) 为单位阵时，\( p_k = -\nabla f_k \)，由于 \( p_k^T\nabla f_k = -\|\nabla f_k\|^2 < 0 \)，这是最基本的下降方向。 2. **牛顿方向**：当 \( B_k = \nabla^2 f_k \) 时，\( p_k = -\nabla^2 f_k^{-1}\nabla f_k \)，牛顿方向更加精确，如果 \( \nabla^2 f_k \) 是正定的，则 \( p_k \) 仍然满足下降条件。 3. **拟牛顿方向**：当 \( B_k \) 是 \( \nabla^2 f_k \) 的近似，如使用梯度的雅可比矩阵或BFGS方法，同样要求 \( B_k \) 正定，这样得到的方向也是下降的。 在确定步长 \( \alpha_k \) 时，目标是找到一个既能使函数 \( f(x) \) 足够减少，又能避免过多计算成本的值。这通常涉及到一个搜索过程，首先找到一个可能的步长区间，然后通过插值技术在这个区间内找到满足下降条件的最优步长。理想情况下，步长应使得目标函数 \( \phi(\alpha) = f(x_k + \alpha p_k) \) 达到最小减少，但实际上，由于计算复杂性，线搜索往往采用近似的策略来快速找到一个“足够好”的步长。 图3.1展示了理想步长的概念，即寻找一个既能有效降低函数值，又能在合理时间内完成的步长。线搜索方法的成功实施依赖于这两个要素的平衡，这对于数值优化算法的效率和收敛性至关重要。总结来说，这一章深入剖析了线搜索方法的核心原理和策略，对于理解和应用数值优化算法具有重要意义。