无约束最优化方法：从最速下降到Newton法

"这篇资料主要探讨了无约束最优化方法及其在控制应用中的角色，特别是如何寻找函数的极小点。文章提到了多种经典的方法，包括最速下降法、Newton法、修正Newton法、共轭方向法、共轭梯度法、变尺度法、坐标轮换法以及单纯形法。这些方法在解决实际问题时，有时能够找到局部最优解，而判断这些解是否全局最优通常依赖于问题的具体背景。无约束优化不仅是解决无约束问题的核心，也是处理约束优化问题的一种转化手段。优化方法分为直接法和间接法，前者不依赖导数信息，后者则利用一阶或二阶导数来加速收敛。在选择方法时，通常根据目标函数的导数可获得性来决定。" 在无约束最优化问题中，目标是找到函数的一个极小点，使得在该点的函数值小于或等于在所有其他点的函数值。常见的优化方法包括： 1. **最速下降法**：这种方法通过沿着负梯度方向移动来减少函数值，每次迭代步长由步长因子确定，旨在最大程度地下降函数值。 2. **Newton法**：Newton法基于函数的二阶泰勒展开，寻找一个方向使函数下降最快，搜索方向是函数的负Hessian矩阵的逆乘以梯度，步长因子通常通过线性搜索确定，以保证函数值的下降。 3. **修正Newton法**：修正Newton法是对Newton法的改进，当Hessian矩阵不可逆或难以计算时，采用近似Hessian矩阵，以提高算法的稳定性和效率。 4. **共轭方向法**：这种方法使用一组互相正交的搜索方向，每次迭代沿着一个新的共轭方向前进，结合步长因子，以达到快速收敛。 5. **共轭梯度法**：共轭梯度法是共轭方向法的一种特殊形式，特别适用于对称正定的Hessian矩阵，它只需要计算梯度，不需要存储或计算方向向量。 6. **变尺度法**：这种方法通过动态调整步长因子和搜索方向，以适应函数的变化，从而加速收敛。 7. **坐标轮换法**：在多变量问题中，坐标轮换法每次只优化一个坐标方向，逐步逼近极小点，适合于变量之间相互独立或高度稀疏的情况。 8. **单纯形法**：单纯形法是一种基于多面体几何的概念，通过在多面体顶点之间移动来寻找最优解，尤其适用于线性规划问题。 无约束优化方法的选择取决于问题的具体情况。直接法如最速下降法适用于导数信息不易获取的情况，而间接法如Newton法在可以计算导数时能提供更快的收敛速度。实际应用中，通常会结合问题特点和计算资源来选取合适的方法。