11种优化算法对比分析：阻尼牛顿法与信赖域方法表现最优

本篇文档主要讨论的是无约束优化问题上的上机作业，涉及11种不同的优化算法在解决特定目标函数中的应用。目标函数包括Rosenbrock函数和Powell奇异函数，这两种函数常被用于测试优化算法的性能和鲁棒性。主要内容分为以下几个部分： 1. 算法选择： - 最速下降法：虽然迭代次数较多，但在有限时间内无法绘制动态图，因为它通常步长较小，导致收敛速度较慢。 - 阻尼牛顿法、修正牛顿法：这两种方法具有较好的收敛性，由于牛顿法的局部二阶近似性质，它们表现出较高的效率，尤其是当目标函数接近二次时。 - 共轭梯度法（FR、PRP、SW）：共轭梯度法是一种迭代求解线性系统的方法，适用于大规模问题，迭代次数相对较少。 - 拟牛顿法（SR1、DFP、BFGS、Broyden）：这些方法通过构建序列二次模型来逼近真实梯度，相比于最速下降法，收敛更快，但需要更多的计算。 - 信赖域算法：这是一种全局优化方法，结合了局部搜索的高效性和全局搜索的优点，具有良好的鲁棒性。 2. LM方法示例： LM方法（Levenberg-Marquardt）在此处可能指的是Levenberg-Marquardt算法，它是一种混合了梯度下降和拟牛顿法的思想，用于非线性最小二乘问题。文档提到，随着初始点的不同（如A、B、C），LM方法的迭代次数会随着参数`t`的变化而增加，这反映了算法对初始条件敏感性的特点。 文档中还展示了每个算法在特定初始点下的表现，包括极小值、极小值点以及所需的迭代次数，这有助于比较不同算法的性能。从结果来看，阻尼牛顿法、修正牛顿法、DFP、BFGS和Broyden拟牛顿法，以及信赖域方法因其出色的收敛性和稳定性，被认为是最优选择。 这篇文档深入研究了无约束优化中的多种算法，提供了具体的实例分析，对于理解和应用这些优化技术具有很高的参考价值。通过对比不同算法的性能，可以帮助学习者选择适合特定问题的优化策略，并理解其在实际优化过程中的行为和局限性。