稀疏对角拟牛顿下非单调超记忆梯度算法：大规模优化的高效解决方案

本文主要探讨了"基于稀疏对角拟牛顿方向的非单调超记忆梯度算法"在解决大规模无约束优化问题中的应用。作者孙清洼、徐琳琳、刘丽敏和王宣战针对超记忆梯度算法的特性，特别是其迭代简单和存储需求低的优点，提出了一种新的优化策略。他们借鉴了稀疏对角拟牛顿技术，并结合了修正Gu和Mo非单调线搜索步长规则，设计了一种新的算法来处理这类大规模问题。 这个新算法的核心在于建立了一个非单调的超记忆梯度框架，其核心步骤包括使用稀疏对角矩阵来近似Hesse矩阵，这样不仅降低了计算复杂度，而且在存储方面更加高效。与传统拟牛顿方法相比，它采用了不同于经典的对称简单矩阵Ak的取值方式，即采用主元法计算Ak，这进一步减小了算法所需的存储空间，对于大规模问题的求解更具优势。 此外，算法还引入了非单调线搜索策略，通过调整步长规则以确保算法的全局收敛性。这种策略允许算法在优化过程中跳出局部最优，从而更有可能找到全局最优解。作者对算法的全局收敛性进行了理论分析，证明了其在解决病态和大规模优化问题上的有效性。 论文的关键点集中在以下几个方面： 1. 非线性规划的背景下，稀疏对角拟牛顿算法的应用； 2. 非单调线搜索策略在梯度更新中的作用； 3. 主元法在计算Ak时的优化作用，降低存储需求； 4. 算法的全局收敛性分析，确保算法的稳定性和有效性。 这篇论文提供了一种改进的优化算法，适用于处理大规模、病态的无约束优化问题，通过实验证明了其在实际应用中的有效性和稳定性。这对于处理现代大型数据集中的优化任务具有重要意义。