LM算法应用：曲线参数估计与阻尼因子策略

这篇内容主要涉及的是一个关于数值优化的练习，特别是使用Levenberg-Marquardt（LM）算法来估计非线性模型参数。题目来源于晨光的第三节课作业，由高洪臣在2019年6月30日设定。作业包括两部分：一是基于给定的LM算法实现参数估计，并展示阻尼因子随迭代变化的曲线图；二是扩展LM算法的阻尼因子更新策略，并推导相关数学公式。 在第一题中，初始问题是用LM算法估计曲线y=exp(ax^2+bx+c)的参数a, b, c。样例代码提供了实现这一过程的基础框架。学生需要完成以下任务： 1. 绘制LM算法中阻尼因子(µ)随迭代变化的图形，这有助于理解算法的收敛特性。 2. 修改代码以适应新的曲线模型y=ax^2+bx+c。这包括： - 在主函数中，更新观测方程为y=a*x^2+b*x+c+n，其中n代表噪声。 - 残差计算函数调整为计算实际观测值与预测值的差值。 - 雅克比矩阵计算函数相应地更新，表示函数关于参数a, b, c的偏导数。 完成以上修改后，代码能够正确估计新曲线模型的参数，如结果所示，估计值接近于真实值a=0.999588, b=2.0063, c=0.968786。 在第二题中，任务是实现Marquardt策略作为替代的阻尼因子更新策略，以改进原始的Nielsen策略。Marquardt策略根据ρ值动态调整阻尼因子，当ρ小于0.25时，阻尼因子翻倍；当ρ大于0.75时，阻尼因子变为原来的三分之一。在代码中，这个策略被集成到Problem::IsGoodStepInLM函数中，以决定是否接受当前的优化步长。 此外，作业还要求推导公式f15，即关于α, b, i, k+1和δbg的偏导数。这涉及到非线性系统中参数估计的微分计算，是LM算法中计算雅克比矩阵的关键步骤。 总结来说，这个作业涵盖了非线性参数估计、Levenberg-Marquardt算法的实践应用、阻尼因子更新策略的理解与实现，以及微分方程的推导，这些都是数值优化和机器学习领域中的重要概念。通过这样的练习，学生能够深入理解这些方法并提升解决实际问题的能力。