优化算法实战：最速下降、牛顿法与共轭梯度法在上机作业中的应用

本资源是一份关于优化方法的上机大作业文档，主要关注于数值优化算法在解决特定问题上的应用。作业内容包括三个不同的优化方法：最速下降法、牛顿法以及共轭梯度法。以下是详细的知识点解析： 1. **最速下降法（Steepest Descent）** - 这是一种迭代优化方法，通过沿着梯度方向逐步减小目标函数 `f(x)`。`grad(x)` 函数计算目标函数的一阶导数，即梯度。在 `steepest()` 函数中，首先初始化 `x0` 为 [0, 0]', 学习率 `ak` 起始值为1，然后在一个循环中不断调整 `xk` 位置（通过 `dk = -gk`），确保每一步都在目标函数下降最快的方向前进。如果当前步长下的函数值 `f1` 不满足下降条件，则减半学习率并重新计算，直到残差（`residual`）小于预设阈值 `eps` 或达到最大迭代次数1000次。 2. **牛顿法（Newton's Method）** - 牛顿法基于目标函数的二阶导数（Hessian矩阵 `grad2(x)`），它使用了牛顿-Raphson迭代公式来更精确地找到最小值。该方法通过求解目标函数的负Hessian的逆来确定步长 `dk`，然后更新 `xk`。同样，残差检查和学习率调整也是迭代过程的一部分。 3. **共轭梯度法（Conjugate Gradient Method）** - 共轭梯度法是一种迭代求解线性系统或最小化二次函数的高效算法，它不需要计算整个Hessian矩阵。在本作业中，通过 `grad2()` 函数计算目标函数的二阶导数部分，并在 `conjugate()` 函数中使用共轭方向寻找最优解。与最速下降法类似，通过不断迭代调整 `xk` 直到残差小于预设阈值 `eps`。 这份上机大作业提供了这些基础优化方法的实现，并通过实例展示了如何使用它们求解给定的目标函数 `f(x) = 10*(x(1)-1)^2 + (x(2)+1)^4`。通过实际运行代码和观察结果截图，学生可以了解这些方法在特定问题上的性能，并理解其优缺点，比如最速下降法简单但可能收敛慢，牛顿法精度高但可能需要计算Hessian，而共轭梯度法则在这两者之间取得平衡。完成这个作业有助于提升学生对数值优化的理解和编程技能。