修正Hestenes-Stiefel共轭梯度法的全局收敛性与数值比较

本文主要探讨的是Armijo型线搜索在改进的Hestenes-Stiefel（HS）非线性共轭梯度法（简称MHSCG算法）中的应用。Hestenes和Stiefel在1952年首次提出线性共轭梯度法，这是一种针对对称正定系数矩阵的迭代方法，适用于大规模问题的求解，其收敛性受矩阵特征值分布的影响。非线性共轭梯度法，如Fletcher和Reeves在1964年提出的，是针对一般非线性优化问题的一种早期尝试，它不依赖于特定的线搜索准则，但理论上的全局收敛性尚未完全得到证实。 孟继东、马燕青和张冰团队在2012年的论文中，提出了一个修正的HS共轭梯度法，即MHSCG算法。这个算法在精确线搜索条件下可以还原为标准HS共轭梯度法，但其搜索方向具有充分下降性，这使得算法的性能更加稳健。关键创新在于他们引入了一种修正的Armijo型线搜索策略，这有助于提升算法的全局收敛性，使其在实际应用中表现优于PRP（Polak-Ribière-Polyak）、HS原算法以及LS（Line Search）算法。 作者们通过数值实验验证了新算法在大多数测试案例中的优越性，显示了其在计算效率和精度上的优势。研究的焦点集中在了共轭梯度法的理论扩展上，特别是在非线性情况下的全局收敛性保证，这对于优化理论和实际应用具有重要意义。 整个研究工作基于元约束优化问题，即求解函数f(x)在实数域上的最小值，其中f(x)是一个连续可微函数，其梯度g(x)是关键的迭代工具。共轭梯度法的迭代步骤包括线搜索和梯度更新，其核心在于选择适当的步长αk和dk，以确保收敛性和有效性。 这篇论文的重要贡献在于将理论分析和实践应用相结合，不仅提供了新的优化算法，而且还通过实证研究证明了其在全球收敛性方面的优势，为无约束优化问题的求解提供了一个有价值的改进方案。