无约束最优化方法对比：步长加速法与旋转方向法

"本资源主要讨论了无约束最优化方法，包括最速下降法、共轭梯度法、牛顿法、变尺度法、步长加速法、旋转方向法、方向加速法、信赖域方法以及最小二乘法。其中，重点讲解了最速下降法的原理、计算步骤和收敛性，并通过MATLAB代码示例展示了最速下降法的迭代过程。" 在无约束最优化问题中，寻找最优解通常涉及一系列的一维搜索，而搜索方向的选择至关重要。标题提到的“步长加速法”与“旋转方向法”是两种不同的优化策略。 5.5步长加速法，也称为线性搜索方法，它在最速下降法的基础上引入了步长因子来加速收敛。在每一步迭代中，不仅考虑最速下降方向，还通过选取适当的步长（lamda）来调整迭代点的移动距离，以期望更快地接近极小值点。步长通常是通过一维搜索算法如黄金分割法或 Armijo 规则确定的，以保证函数值的减少。 5.6旋转方向法，又称拟牛顿法或有限内存BFGS方法，这种方法不再局限于单步搜索，而是考虑了前几步的搜索方向，通过构造近似海塞矩阵的逆来生成新的搜索方向。这种方向更新可以保留过去信息，从而改善收敛性能，避免最速下降法中的锯齿现象，提高全局收敛速度。 在MATLAB代码示例中，5.1最速下降法的实现使用了符号计算和数值计算相结合的方式。首先定义了符号函数和符号变量，然后计算了梯度和海塞矩阵。通过迭代更新，每次迭代根据梯度和步长计算新的位置，直到梯度的范数小于一个很小的阈值（这里用`eps`表示）。这个例子展示了最速下降法的计算步骤和停机条件，但未涉及步长加速或旋转方向的改进。 最速下降法虽然在局部能够快速降低函数值，但在全局优化中效率较低，因为其搜索路径呈现锯齿状，导致在接近极小点时收敛速度显著下降。相比之下，步长加速法和旋转方向法通过更智能地选择步长和搜索方向，通常能提供更快的全局收敛性能。这些方法在实际应用中，如机器学习和数据科学中的参数优化，具有重要的价值。