无约束最优化方法：从最速下降到单纯形法

"最优化方法及控制应用" 最优化方法是解决各类工程和科学问题中的核心工具，特别是在控制系统的分析与设计中。本资源主要涵盖了无约束最优化问题的多种算法，包括最速下降法、Newton法、修正Newton法、共轭方向法、共轭梯度法、变尺度法、坐标轮换法以及单纯形法。 1. 最速下降法：这是一种迭代优化方法，通过沿着函数梯度的负方向移动，寻找函数值下降最快的方向，从而逐步接近局部最小值。然而，由于每次都沿梯度方向移动，可能导致收敛速度较慢，尤其是在函数具有多个局部极小值时。 2. Newton法和修正Newton法：Newton法利用了函数的二次近似，通过求解Hessian矩阵（二阶导数矩阵）的逆来确定搜索方向，理论上能更快地收敛至局部最小值。修正Newton法则在无法求解Hessian矩阵逆或其逆不稳定时，对Newton法进行修正，以改善其稳定性和收敛性。 3. 共轭方向法：这种方法不是每次迭代都沿梯度方向，而是选取一系列正交的搜索方向，这些方向满足共轭条件，以期望更快地达到极小点。相比于最速下降法，它通常能更快地收敛，但仍然需要计算梯度。 4. 共轭梯度法：它是共轭方向法的一种特殊形式，特别适用于线性方程组的求解和二次规划问题。在每次迭代中，它只需要存储前一次的梯度和方向向量，不需要计算Hessian矩阵，因此计算效率较高。 5. 变尺度法：这种方法动态调整步长，以适应函数的变化，有时被称为自适应梯度方法。它通过调整步长因子来控制迭代速度，试图在快速收敛和稳定性之间找到平衡。 6. 坐标轮换法：在高维空间中，这种方法沿着坐标轴方向交替更新变量，以寻找最小值。在某些特定类型的优化问题中，如稀疏优化或低秩矩阵恢复，这种方法表现优秀。 7. 单纯形法：主要用于解决线性规划问题，它通过在多面体的顶点（单纯形）之间移动，逐步逼近最优解。这种方法不需要计算导数，但可能需要较多的迭代次数。 无约束优化方法的选择通常依赖于问题的具体情况，例如目标函数的性质（连续性、光滑性、是否存在导数）、计算资源（计算梯度的难易程度）、以及对收敛速度和精度的要求。在实际应用中，往往需要结合具体问题和算法特点，选择最适合的方法。直接法和间接法各有优势，直接法适用于函数不可微或导数不易计算的情况，而间接法则在有导数信息时能实现更快的收敛。