无约束最优化方法：从最速下降法到变尺度法

"该资源是一份关于无约束最优化方法的硕士研究生课程资料，由西安电子科技大学提供。课程重点介绍了利用导数信息的最优化算法，包括最速下降法、牛顿法、共轭方向法与共轭梯度法以及变尺度法（如DFP方法和BFGS方法）。资料详细阐述了最速下降法的基本思想、算法步骤，并提到了算法的优缺点和实际应用中的考虑因素。" 最优化算法是解决数学、工程和计算机科学等领域问题的关键技术。第四章主要关注无约束最优化方法，这类问题的目标是找到使目标函数达到最小值（或最大值）的变量值，不考虑任何限制条件。通常，最优化问题可以表示为： 最小化 f(x)，其中 x 属于实数集合 R^n。 无约束最优化方法主要分为两大类：解析方法和直接方法。解析方法依赖于目标函数的一阶或二阶导数信息，而直接方法则不使用导数。本章着重讲解的是使用导数信息的优化算法。 1. 最速下降法 最速下降法由 Cauchy 在1847年提出，是一种基本的数值方法。该方法基于这样一个直观想法：从当前点出发，沿着梯度的反方向移动，因为这是函数值下降最快的方向。具体而言，每次迭代通过线性搜索确定步长 λ，使得函数值下降最多。算法步骤包括设定初始点、计算下降方向（梯度的负方向）以及执行一维搜索以确定最优步长。最速下降法简单易懂，但其收敛速度较慢。 2. 牛顿法 牛顿法是一种二阶方法，它利用目标函数的梯度和海森矩阵（Hessian matrix）来寻找下降方向。在每次迭代中，牛顿法会沿着负海森矩阵的逆乘以梯度的方向前进，理论上能更快地收敛到极值点。然而，计算海森矩阵可能非常昂贵，特别是在高维度问题中。 3. 共轭方向法与共轭梯度法 共轭方向法是通过构造一组特定的共轭方向来加速最速下降法的收敛。共轭梯度法是共轭方向法的一个特例，它仅需存储一个方向向量，且在二次可微的凸函数中具有全局线性收敛性。这种方法在实际应用中非常流行，因为它不需要计算海森矩阵。 4. 变尺度法 包括DFP（Davidon-Fletcher-Powell）方法和BFGS（Broyden-Fletcher-Goldfarb-Shanno）方法，这两种方法都是有限内存的拟牛顿法。它们使用近似海森矩阵来改进最速下降法，同时避免了直接计算海森矩阵的复杂性。这些方法在实际问题中表现出良好的性能，尤其是在大型优化问题中。 这些优化方法在机器学习、数据分析、物理、化学、工程设计等多个领域有广泛应用。理解并熟练掌握这些算法对于解决实际问题至关重要，特别是在需要最小化损失函数或最大化目标函数的情况下。