比较最速下降法/牛顿法/拟牛顿法的迭代思路

最速下降法是一种基础的优化算法，其迭代思路是通过在当前位置沿着当前梯度方向进行迭代，来逐步逼近目标函数的最小值点。具体来说，每次迭代的步长为目标函数在当前位置的梯度方向上的负方向，即 $-\nabla f(x)$。

牛顿法是一种基于二阶泰勒展开的优化算法，其迭代思路是通过求解目标函数的二阶导数（Hessian矩阵），来近似目标函数的局部形态，并在当前位置构造二次函数，然后求解该二次函数的最小值点。具体来说，每次迭代的步长为目标函数在当前位置的二阶导数的逆矩阵与当前梯度的乘积，即 $-\left(\nabla^2 f(x)\right)^{-1}\nabla f(x)$。

拟牛顿法是一种基于牛顿法思路的优化算法，其迭代思路是通过构造一个近似的Hessian矩阵来替代牛顿法中的精确Hessian矩阵的计算，从而减少计算复杂度。常见的拟牛顿法包括DFP算法和BFGS算法，它们都通过维护一个Hessian矩阵的逆矩阵来进行迭代。具体来说，每次迭代的步长为拟牛顿法逆矩阵与当前梯度的乘积，即 $-\left(B_k\right)^{-1}\nabla f(x)$，其中 $B_k$ 表示第 $k$ 步时的拟牛顿法逆矩阵。