混合信赖域算法：Cholesky分解在非线性优化中的应用

"基于Cholesky分解的混合信赖域算法 (2005年) - 钟守楠, 杨青 - 武汉大学数学与统计学院" 在优化理论和实践中，非线性函数的最小化是一个核心问题，特别是在面对非二次性极强且曲率变化剧烈的情况下。钟守楠和杨青在2005年的论文中提出了一种创新的混合信赖域算法，该算法结合了锥模型和基于广义正定Cholesky分解的Gill-Murray改进牛顿算法，以解决这类挑战性问题。 传统的信赖域算法依赖于二次子模型来近似目标函数，但当目标函数的非二次性和曲率变化大时，这种近似可能不够精确，导致算法效率低下。为了解决这一问题，论文提出了一个新颖的方法：在算法中引入锥模型，它能更好地适应目标函数的非线性特性。同时，他们采用了广义正定Cholesky分解，这可以有效地求解Hessian矩阵，找出目标函数的下降方向。 论文中指出，当算法在某点xk处的预估下降量与实际下降量的比例rk小于0时，意味着在当前信赖域内二次模型的逼近效果不佳。在这种情况下，传统信赖域算法会缩小搜索范围，但这可能无法显著改善情况。论文提出的混合方法则是在Hessian矩阵做Cholesky分解，找到下降方向，直接更新xk至新的下降点xk+1，然后在xk+1处使用锥信赖域子模型寻找下一个试探点xk+2，如此迭代直至找到满足停止条件的最优解。 这种混合信赖域算法的优势在于，它不仅利用了锥模型的优势以适应非二次性，还通过Cholesky分解加速了下降方向的计算，从而提高了算法的收敛速度和性能。论文还证明了该算法的收敛性，为其实用性提供了坚实的理论基础。 这篇论文贡献了一种在非线性优化领域中兼顾效率和精度的新策略，对于处理复杂优化问题具有重要的理论和应用价值。通过将锥模型和Cholesky分解相结合，钟守楠和杨青的工作为优化算法的设计开辟了新的思路，对于后续的研究和实践提供了有价值的参考。