最优化方法复习要点与线性规划解析

"最优化复习2019.6.pdf" 这篇资料主要涵盖了最优化方法的复习内容，针对上海交通大学的一门课程，旨在帮助学生进行期末考试的复习。以下是资料中涉及的重要知识点： 1. **优化问题建模**：一个优化问题通常包括模型、目标（极大化或极小化）和解的定义。模型描述了问题的结构，目标可以转化为求最小值，解分为可行解、最优解、局部最优解和严格（局部）最优解。 2. **梯度和Hessian阵**：梯度表示函数在某一点的局部变化率，Hessian阵描述了函数在该点的二阶导数，对于二次函数，Hessian阵是对称矩阵。 3. **凸集**：凸集是满足特定条件的集合，具有加、减、并、交等运算的性质。例如，当两个点的线性组合仍然在集合内时，该集合是凸的。 4. **多面凸集**：这类集合由极点、方向和极向定义，是凸集的一种特殊情况。 5. **凸集分离定理**：如果两个凸集不相交，那么存在一个超平面将它们分开。这在证明某些选择性定理中很有用。 6. **凸函数**：凸函数在其定义域内满足特定的性质，如函数值的加权平均总是大于等于函数在加权平均点的值。一阶和二阶的充要条件也是研究的重点。 7. **严格凸函数**：严格凸函数的定义与凸函数类似，但更严格，意味着在除了极小值点外的任何点，函数值的加权平均总是小于函数在加权平均点的值。 8. **凸规划**：这是一个寻找使目标函数达到极小值的优化问题，其特点是全局最优解等同于局部最优解。无约束问题中，平稳点即为最优解；有约束问题中，满足Karush-Kuhn-Tucker (KKT) 条件的点是潜在的最优解。 9. **算法收敛性**：讨论了算法在找到最优解时的全局收敛性、局部收敛性和二次终止性，以及收敛速度的概念。 10. **最速下降方向**：在H-范数的意义下，它是指使得函数值下降最快的方向。 11. **共轭方向**：共轭方向是一组相互正交的方向，用于迭代优化算法，如共轭梯度法，具有二次终止性，即经过有限次迭代后可找到最优解。 12. **投影矩阵**：描述了如何将向量投影到线性子空间或仿射空间上，以得到与该空间的最小距离点。 13. **线性规划**：讨论了标准形式的线性规划问题，包括无可行解、无界解和有界解的情况，以及如何通过图解法解决只有两个变量的线性规划问题。 以上内容是优化方法复习的关键点，对理解和解决实际优化问题至关重要。这些知识点不仅适用于期末考试，也是深入学习和应用最优化理论的基础。