无约束优化：线搜索法与最速下降法解析

"无约束优化－线搜索法是求解无约束优化问题的一种基本策略，主要应用于寻找函数的局部最小值。线搜索法的核心思想是在当前点x(k)选择一个下降方向p(k)，然后沿着这个方向调整步长α，以找到一个能够使目标函数值下降的新点x(k+1)。在北航的最优化方法课程中，线搜索法被详细讲解，包括如何确定搜索方向和步长的选择策略。 线搜索分为精确线搜索和非精确线搜索。精确线搜索要求新点处的梯度与搜索方向正交，这对于二次函数有明确的解析解，但在实际问题中往往难以实现。非精确线搜索则允许一定的误差，通常采用Wolfe准则、强Wolfe准则或Armijo回溯法则来确定步长，这些准则确保了算法的收敛性。 最速下降法是一种常见的线搜索方法，其搜索方向是梯度的反方向，即是最陡下降的方向。这种方法在每一步迭代中都力求最大程度地减少目标函数值。算法的主要计算工作在于计算梯度和确定步长。最速下降法在二次函数情况下具有解析的精确步长，对于更一般的情况则需要数值方法求解。 最速下降法虽然保证了全局收敛性，即只要满足一定的步长选取规则（如Wolfe准则），迭代序列会收敛到函数的局部极小值。然而，它的收敛速度是线性的，且收敛速度与函数的Hessian矩阵有关。在最理想的情况下，收敛因子a与函数的曲率有关，这意味着在平坦区域会更快收敛，但在陡峭区域可能收敛较慢。 此外，课程中还提到了其他优化策略，如牛顿法（包括基本牛顿法和修正牛顿法）、拟牛顿法（如BFGS和DFP更新）以及共轭梯度法（包括线性和非线性共轭梯度法）。这些方法通过引入二阶信息（如Hessian矩阵）或近似二阶信息，通常可以实现比最速下降法更快的收敛速度，但计算复杂度也相应增加。 线搜索法是无约束优化中的基础工具，通过合理选择搜索方向和步长策略，可以有效地逼近函数的局部最小值。北航的最优化方法课程深入探讨了这些概念，为学生提供了理解优化算法原理和实践应用的基础。"