凸优化与概率初步：从基础到应用

"凸优化与概率初步" 这篇资料主要讲解了凸优化和概率论的基础知识，由邹博在2014年10月19日撰写。内容涵盖了历史遗留问题、EM算法推导、概率论中的分布特性、指数族分布、充分统计量、广义线性模型（GLM）的概念，以及凸优化的相关理论。 首先，文章提到的历史遗留问题涉及了偏导数计算、数据结构中跳表查询的时间复杂度下限，以及期望最大化（EM）算法中参数θ的估计问题。在EM算法的推导过程中，作者介绍了如何处理观测变量Y和待估计参数θ之间的关系，通过最大似然估计方法来求解。 文章的目标是使读者掌握概率论中不同分布的性质，如二项分布、泊松分布等，并理解指数族分布的特点。同时，引入了充分统计量和GLM的概念，后者在统计建模中具有重要地位，能够链接因变量与线性预测器。 接着，文章深入讨论了凸优化的基本概念，包括凸集、凸函数、凸优化问题以及对偶问题。凸集是指集合内的任意两点连线都在集合内部，而凸优化是寻找凸函数的全局最小值，这对于解决实际优化问题有重要意义，比如在机器学习中的支持向量机（SVM）中，凸优化提供了理论基础。 文章还详细解释了仿射集、仿射包、仿射维数，以及它们与凸集的关系。仿射集是包含所有线性组合的集合，而凸集是更特殊的情况，其包含了所有两点间线段。仿射包是包含原始集合的最小仿射集，而凸包则是包含原始集合的最小凸集。 此外，文中提到了锥的概念，这是包含非负线性组合的集合，对于理解和解决一些优化问题非常关键。半正定矩阵集被证明为一个凸锥，这是因为半正定矩阵满足特定的性质，即所有的特征值都是非负的。 最后，文章还讨论了超平面、半空间、欧式球和椭球，这些都是几何学和优化理论中的基本元素，它们在定义约束条件或构建优化问题的可行域时起到重要作用。 这份资料是学习凸优化和概率论基础的理想起点，适合对机器学习、统计建模和优化理论感兴趣的学习者。通过深入理解这些概念，读者可以更好地应对实际问题的建模和求解。