"最优化理论笔记.pdf，这是一份来自中科大的凸优化课程笔记，涵盖了从基本概念到深入理论的多个方面。"
在最优化理论中，凸优化是一种重要的分支，它主要研究和解决那些目标函数是凸函数，或者约束集是凸集的优化问题。这样的问题有其独特的性质，使得求解过程相对更为简单且能找到全局最优解，而非局部最优解。
课程首先介绍了优化问题的背景和历史，以及常见的优化问题类型。这些类型包括线性优化、二次优化以及更复杂的非线性优化问题。接着，笔记详细讲解了凸集的概念，如仿射集、凸集、凸锥以及它们的组合和包。其中，超平面、半空间、球、椭球、多面体、单纯形和对称矩阵等都是凸集的重要例子。
接下来的章节深入讨论了凸函数的定义，包括三种不同的定义方式，并通过二次函数、仿射函数、指数函数、幂函数、绝对值函数、对数函数、负熵、范数、零范数以及极大值函数等常见函数来举例说明它们的凸性。此外，还提到了log-sum-exp函数和几何平均函数等特殊类型的凸函数。
在函数的保凸性和复合函数的性质上，笔记详细阐述了如何通过非负加权和、仿射映射、极大值函数的组合等方式保持函数的凸性。同时，介绍了函数的透视操作，如欧几里得范数的平方、负对数函数和Kullback-Leibler散度。函数的共轭也是这部分内容的关键，它在理解和解决优化问题中起到重要作用。
笔记进一步探讨了拟凸函数的概念，以及与可微性相关的条件，如一阶和二阶条件。对于可微拟凸函数，一阶条件有时可以作为充分条件来判断局部最优解。此外，笔记还涉及了凸优化问题的结构，如可行域、最优解、ε-最优解集以及局部最优解的概念。
在实际应用部分，笔记通过营养食谱问题、线性分数规划、二次规划（QP）、二次锥规划（QCQP）和回归问题中的LASSO等例子展示了凸优化的广泛用途。特别是，LASSO在处理稀疏数据时的引入，通过结合X的正负部分（X+=X-）来实现。
笔记还介绍了投资组合问题，半正定规划以及多目标优化问题，其中涉及了pareto最优解和如何将多目标问题转化为单目标问题。对偶性是优化理论中的另一个关键概念，Lagrange乘子法、Lagrange函数的凹性、对偶函数与函数共轭的关系以及原问题与对偶问题之间的关系都被详细阐述。
最后，笔记讨论了强对偶性和弱对偶性，对偶间隙的概念，以及Slater条件在确保强对偶性成立中的作用。通过几何解释、鞍点解释、多目标优化解释和经济学角度解释，深入理解了P*=d*这一重要性质。
这份笔记全面而深入地涵盖了凸优化的基本理论和应用，对于学习和理解最优化理论具有很高的价值。
我的内容管理
展开
