自适应非单调谱投影梯度法在凸约束优化中的应用

"一类新的自适应非单调谱投影梯度法" 本文由林骥和宇振盛共同撰写，发表在上海理工大学理学院，探讨了解决凸约束优化问题的新方法——自适应非单调谱投影梯度法。这种方法旨在通过引入自适应权重参数，使得算法在迭代过程中能动态调整非单调策略，以降低对非单调参数M的依赖性。作者在适当条件下证明了算法的收敛性。 文章首先介绍了凸约束优化问题的一般形式，并引用了Birgin等人关于SPG算法的工作，这些算法在处理带边界约束的优化问题时表现出色，尤其适用于大规模问题。SPG算法结合了非单调线搜索、投影梯度法以及两点步长梯度法等技术。 Raydan指出两点步长梯度法对参数M的依赖是一个挑战，而Dai和Zhang则提出了一种自适应两点步长梯度法，以改善第一次试验步长的接受性。Zhang和Hager批评了传统非单调线搜索技术的某些不足，提出了一种基于函数值“平均”的新方法，其在实践中往往优于传统的“最大”原则。 文章的重点在于，作者基于以上研究，设计了一种新的自适应算法，即自适应非单调谱投影梯度法。这个算法试图克服非单调技术可能导致的迭代次数不稳定的问题。通过实例比较，当n=3000时，新算法的总迭代次数比使用Armijo单调线搜索方法减少了1351次，而在n=2000时，迭代次数反而增加了1247次。这表明新算法在某些情况下能显著减少迭代次数，但也有时会增加迭代次数，显示出其复杂性和适应性。 该文贡献了一种改进的优化算法，它在处理凸约束优化问题时具有自适应性和非单调性，有望在实际应用中提高效率。这一方法的提出，对于优化理论和实践领域都具有重要意义，特别是对于那些需要解决大规模优化问题的领域，如机器学习、工程设计和经济建模等。