无约束优化：共轭梯度法及其优势

"共轭梯度法-无约束最优化方法" 共轭梯度法是一种用于求解无约束最优化问题的高效算法，起源于解决线性方程组的问题，后来被扩展到寻找函数的最小值。它是由Hestenes和Stiefel在1952年首次提出，而Fletcher和Reeves在1964年将其发展为适用于无约束优化的方法。 共轭梯度法的基本思想结合了最速下降法和共轭方向的概念。最速下降法每次迭代都沿着当前点梯度的负方向移动，以期望快速降低目标函数值。然而，这种方法可能会导致搜索路径呈现锯齿状，影响收敛速度。共轭梯度法则通过构造一组共轭方向来改善这一问题。这些方向在迭代过程中彼此正交，从而避免了最速下降法中的曲折路径，提高了收敛效率。 在共轭梯度法中，每一迭代步不只是简单地沿着当前梯度的负方向，而是找到一个与前一步方向共轭的新方向，使得在该方向上的一维搜索能够充分利用之前的信息，避免重复探索已知的下降区域。这种方法的一个关键特性是，如果目标函数是二次且正定的，那么共轭梯度法可以在有限的步数内收敛到全局最小值，展现出二次终结性。 在实际应用中，例如在MATLAB环境中，我们可以用符号计算工具来定义和操作目标函数，计算梯度和海森矩阵，进而执行共轭梯度法的迭代过程。例如，代码示例展示了如何定义一个二维函数，初始化迭代点，计算梯度和海森矩阵，然后根据共轭梯度法的步骤更新迭代点，直到梯度的范数小于某个预设的阈值（这里使用的是`norm(g0)>eps`作为停止条件）。 除了共轭梯度法，无约束最优化领域还包括多种其他方法，如牛顿法，它基于函数的泰勒展开和海森矩阵；变尺度法，通过调整步长来改进搜索效率；步长加速法，如高斯-赛德尔或拟牛顿法；旋转方向法和方向加速法，旨在改善搜索方向的选择；以及信赖域方法，通过限制每一步的搜索范围来保证稳定性和收敛性。最小二乘法则是一种特定的优化方法，用于找到使残差平方和最小化的参数估计。 无约束最优化问题的求解通常需要通过一系列的一维搜索，而选择合适的搜索方向是优化效率的关键。共轭梯度法因其快速的收敛速度和较低的存储需求，在解决大规模线性优化问题时尤其受到青睐。