非线性最小二乘问题与Levenberg–Marquardt算法详解

线性最小二乘法我们应该非常熟悉了，例如对样本数据进行多项式拟合等。但实际工程应用中，我们所接触的很多问题都无法转化为线性方程组，也就无法使用线性最小二乘法进行优化了，那自然而然地我们就应该转而求助于非线性最小二乘法。一直以来，各路大神们提出了各种各样的优化算法，很多都是一脉相承，不断创新的，所以最好不要孤立地看待这些算法。目前来说，Levenberg–Marquardt 法可以说是求解非线性最小二乘问题的标准算法了，也就是应用十分广泛，例如运动参数估计、相机内部参数标定等等，其性能也是得到很多论文背书的。不过，一上来就扔出这么长的一串名字似乎让人觉得 LM 算法十分的复杂，但实际上，LM 算法