凸优化与概率初步：从二阶可微到EM算法

"二阶可微-凸优化与概率初步" 这篇资料主要涵盖了二阶可微的凸优化和概率论的基础知识。首先，它强调了在函数f在其开集定义域上二阶可微的情况下，若该函数的定义域本身是凸集，那么函数f就是凸函数。凸函数在优化问题中扮演着重要角色，因为它们具有一些特殊的性质，比如局部最小值也是全局最小值，这简化了寻找最优解的过程。 接着，资料提到了一些历史遗留问题，例如关于 Ax 的偏导数计算、跳表查询的时间复杂度下限以及期望最大化（EM）算法中的参数估计问题。在EM算法中，参数θ是未知的，需要通过极大似然估计来求解。资料给出了EM算法的推导过程，展示了如何利用观测数据和隐藏变量来估计参数。 资料的目标是使读者熟悉概率论中的各种分布特性，特别是指数族分布，以及充分统计量和广义线性模型（GLM）的概念。此外，还涉及到了凸集和凸优化的基本概念，这是解决优化问题的关键。理解“凸优化”的四个步骤，即凸集、凸函数、凸优化和对偶问题，是学习这部分内容的核心。其中，最小二乘问题可以用凸优化的思想来解释，这为支持向量机（SVM）提供了理论基础。 资料中详细介绍了仿射集和凸集的区别与联系，以及它们的扩展概念，如仿射包、仿射维数、凸包和锥。特别地，半正定矩阵集被指出是一个凸锥，这是因为半正定矩阵的定义确保了这个集合的凸性。同时，资料也涵盖了超平面、半空间、欧式球和椭球等几何对象，这些都是在研究凸优化时会遇到的重要几何结构。 这份资料是学习凸优化和概率论入门的宝贵材料，它不仅讲解了理论概念，还提供了相关问题的背景和应用实例，有助于深化理解和实际应用。