凸优化基础：从凸集到凸优化问题

"这篇文档是关于凸优化问题和概率初步的介绍，由邹博于2014年10月19日分享。内容涵盖了凸优化问题的基本形式、凸优化问题的性质，以及与概率论的相关知识，如EM算法、指数族分布、充分统计量、广义线性模型（GLM）和凸集的概念。此外，还讲解了仿射集、凸集、仿射包、凸包、锥和半正定矩阵等数学概念，并涉及到超平面、半空间、欧式球和椭球等几何形状在凸优化中的应用。" 凸优化是解决优化问题的一种重要方法，其基本形式涉及凸函数和仿射函数。在这个框架下，优化的目标通常是找到使凸函数达到最小值的变量x，同时满足一组仿射函数的约束条件。凸函数具有这样的特性，即在任何两点连线上的所有点的函数值都介于这两点的函数值之间，这确保了函数在整个定义域内的形状是向上弯曲的。 凸优化问题的一个关键特性是它的可行域是凸集，这意味着如果两个点都属于可行域，那么连接它们的线段也完全在可行域内。这个性质使得凸优化问题的局部最优解同时也是全局最优解，因为不存在局部极小值点低于全局极小值点的情况。这一点与非凸优化问题显著不同，在非凸问题中，局部最优解可能不是全局最优。 在概率论部分，文档提到了期望最大化（EM）算法，这是一种用于估计参数的迭代方法，特别适用于有隐藏变量的情况。EM算法通过交替执行E步（期望步骤）和M步（最大化步骤）来逐步提高模型的似然估计。文中还提及了指数族分布，这是概率论中一类重要的概率分布，包括多项式分布、泊松分布、高斯分布等，它们的共性在于可以通过一些参数来形成一个共同的函数形式。 此外，文档介绍了充分统计量和广义线性模型（GLM），充分统计量是指能完全概括样本信息的统计量，而GLM是一种将线性模型扩展到响应变量与线性预测器之间的关系是非线性的模型。 在几何部分，文档详细讨论了仿射集和凸集的概念，仿射集是一组点构成的集合，其中任意两点的线性组合仍在这个集合内，而凸集则要求所有两点间线段都在集合内部。仿射包是包含某个集合的最小仿射集，而凸包则是包含某个集合的最小凸集。 最后，文档涉及了锥、锥包、半正定矩阵集、超平面、半空间以及欧式球和椭球，这些都是在优化问题中常见的数学构造，特别是半正定矩阵在凸优化中的重要性，因为它们经常出现在优化问题的对称矩阵约束中，如二次规划问题。 总结来说，这篇文档是理解凸优化问题及其与概率论、统计学和几何学之间关系的宝贵资源，对于学习和应用这些领域知识的人来说极具价值。