优化方法：拟牛顿法与BFGS与DFP

"这篇资料主要讨论了凸优化中的拟牛顿方法，包括修改后的牛顿法、逆矩阵的一阶和二阶修正，以及两种著名的拟牛顿法：Davidon–Fletcher–Powell (DFP) 方法和Broyden–Fletcher–Goldfarb–Shanno (BFGS) 方法。这些方法在实际应用中常用于解决梯度下降和牛顿法之间的权衡问题，特别是在计算Hessian矩阵不可行或代价高昂时。推荐的阅读材料涵盖了Luenberger和Ye的《线性与非线性编程》、Nesterov的《凸优化入门讲座》以及Bazaraa等人的《非线性编程》和Bestsekas的《非线性编程》。" 详细内容： 拟牛顿方法是优化算法的一种，它介于梯度下降法和牛顿法之间。梯度下降法简单但收敛速度慢，而牛顿法虽然快速但需要计算和存储Hessian矩阵（二阶导数矩阵），这在高维问题或大型数据集上可能非常昂贵。因此，拟牛顿法的目标是使用Hessian矩阵的近似值来替代实际矩阵，以减少计算成本。 首先介绍的是修改后的牛顿法，也称为“偏差梯度法”。这种方法试图在不完全使用Hessian信息的情况下改进梯度下降法。在梯度下降法中，更新方向是梯度的反方向；在牛顿法中，更新方向是负的Hessian矩阵乘以梯度。而修改后的牛顿法通过引入一个修改项，使得更新方向在梯度的反方向附近，但不需要完整的Hessian信息。 接着，资料提到了逆矩阵的一阶和二阶修正，这是构建Hessian近似的一种方式。一阶修正仅考虑梯度的变化，而二阶修正则同时考虑梯度和函数值的变化，以此来更精确地逼近Hessian。 然后，资料介绍了两种著名的拟牛顿法：DFP方法和BFGS方法。DFP方法通过一种特定的方式更新Hessian的逆矩阵，确保了近似的正定性。BFGS方法则更为常用，因为它通常比DFP方法更稳定，并且在实际应用中表现出更好的性能。这两种方法都是基于历史梯度信息来构建Hessian的近似，避免了直接计算和存储Hessian矩阵。 在解决二次规划问题时，拟牛顿法的更新规则通常涉及使用Hessian近似来改进搜索方向。这个过程可以保证下降步长并逐步接近最优解。 拟牛顿方法是解决凸优化问题的重要工具，尤其适用于那些Hessian矩阵难以处理的情况。通过对Hessian矩阵的近似，这些方法能够在保持有效性和收敛性的同时，降低计算复杂度，从而在实践中得到广泛应用。