一种解非光滑约束方程组的Levenberg-Marquardt算法

"一个解非光滑方程组的Levenberg-Marquardt算法 (2013年)，由郑玲爱和凌晨发表在《浙江师范大学学报（自然科学版）》2013年第36卷第4期，探讨了解决非光滑约束方程组的优化方法。该算法基于Levenberg-Marquardt策略，结合了松弛变量的绝对值函数转化和光滑化技术，确保了全局收敛性和局部二次收敛性。通过数值实验验证了算法的实际计算效率。" 本文主要介绍了一种针对非光滑约束方程组的优化算法——Levenberg-Marquardt算法的新应用。Levenberg-Marquardt算法原本是用于非线性最小二乘问题的一种迭代方法，它在梯度下降法和高斯-牛顿法之间进行权衡，尤其适用于矩阵近似逆不明显的情况。在非光滑约束方程组的问题中，算法的核心在于如何处理那些不连续或不可微的函数。 作者通过引入松弛变量的绝对值函数，将原始的非光滑约束方程组转化为一个无约束的方程组。这一转换有助于简化问题，因为绝对值函数可以被用来平滑不连续的函数，使得问题更易于处理。接下来，算法结合了光滑化技术，即通过某种方式使原本非光滑的函数变得可微，这通常是通过引入平滑参数或构造平滑近似来实现的。 每一步迭代中，该算法只需要解决一个严格凸的二次规划问题，这是一个相对简单的优化问题，有唯一全局最小值，因此可以保证算法的收敛性。此外，该算法在全球范围内具有收敛性，这意味着无论初始猜测值如何，算法都将趋向于找到一个解。更进一步，当满足特定的局部误差界条件，即弱于非奇异性的条件时，该算法还具有局部二次收敛性，意味着随着迭代次数增加，解的精度将以二次速度提高。 文章通过初步的数值试验验证了算法的实际效果，结果显示该算法在解决非光滑约束方程组问题时具有良好的计算性能。这些试验可能包括了各种不同的非光滑问题实例，以展示算法在不同场景下的适应性和效率。 这篇文章为解决非光滑约束优化问题提供了一个新的工具，它结合了传统的Levenberg-Marquardt框架和创新的平滑化策略，为实际工程和科学问题中的复杂非光滑优化带来了新的解决方案。