大规模非负约束优化：可行LS共轭梯度算法

"求解非负约束优化问题的可行LS共轭梯度法* (2014年)" 非负约束优化问题是一种常见的优化问题，它在多个领域，如非线性回归分析、金融投资、大地测量和卫星导航系统中都有重要应用。这类问题的特点是目标函数是需要最小化的，同时变量受到非负限制，即所有变量都必须大于或等于零。解决这类问题的传统方法可能在处理大规模数据时效率低下，因此研究高效算法至关重要。 本文提出了一种新的可行LS共轭梯度算法，该算法结合了子空间思想和Liu-Storey（LS）共轭梯度法。LS共轭梯度法是一种优化算法，用于求解无约束的线性和非线性优化问题，它通过构造一组共轭方向来加快搜索速度，相比标准梯度下降法，通常能更快地达到最优解。而在非负约束的情况下，算法需要确保每一步迭代更新后的解仍然满足非负约束。 子空间思想是将高维问题转化为低维子空间中的问题，以此降低计算复杂性。在本文的算法中，这一思想被用来处理大规模非负约束优化问题，通过在子空间中进行迭代，可以减少计算量，提高算法的效率。 算法的全局收敛性是其有效性的关键指标。在Armijo型线性搜索下，算法的全局收敛性得到了分析。Armijo型线性搜索是一种常用的下降步长选择策略，它要求每次迭代的步长满足一定的下降条件，以确保算法能够逐渐接近全局最小值。作者证明了所提算法在满足这些条件的情况下具有全局收敛性，这意味着无论初始解如何，算法最终都能找到一个全局最优解。 数值实例进一步验证了该算法的有效性。通过对比实验，可以看到该算法在解决大规模非负约束优化问题时，不仅能够找到合适的解，而且计算效率较高，适用于处理大数据规模的问题。 这篇论文提出的可行LS共轭梯度算法为非负约束优化问题提供了一个高效的解决方案，其结合了子空间投影策略和LS共轭梯度法的优势，同时具备全局收敛性保证。这一方法对于实际应用中的大规模非负约束优化问题具有重要的理论和实践价值。