凸优化基础：从概念到最小二乘问题

"本资料主要介绍了优化问题的基本形式，特别是凸优化的概念。课程由邹博于2014年10月19日讲解，涵盖了从历史遗留问题到现代优化理论的一些关键点，包括最大似然估计、指数族分布、充分统计量、广义线性模型（GLM）以及凸优化的步骤。资料中还详细讨论了仿射集、凸集、仿射包、凸包、锥和半正定矩阵集等概念，并涉及超平面、半空间、欧式球和椭球的几何特性。" 在优化问题中，基本形式通常涉及寻找一个可行解，即满足特定约束条件的解。可行域是由所有可行点组成的集合，而最优化值是目标函数在可行域中的最优值。凸优化是优化问题的一个重要分支，它专注于那些在数学上定义为凸函数的优化问题，这些问题具有许多优良的性质，如全局最优解的存在性和算法的高效性。 凸集是优化问题中的核心概念，它是指集合内的任意两点连线段都在集合内部。相比之下，仿射集更一般，它包括所有通过集合内任意两点的直线，仿射集的仿射包是包含该集合的最小仿射集。仿射集的维数定义了其自由度。 凸优化的步骤包括理解凸集、凸函数、进行凸优化以及解决对偶问题。凸函数是指在其定义域内，任意两点连线上的所有点的函数值都小于或等于这两点的函数值。在凸优化中，最小二乘问题是典型例子，它可以通过凸优化的方法求解。同时，凸优化为支持向量机（SVM）提供了理论基础。 此外，资料还提到了锥的概念，它是所有非负线性组合构成的集合，特别地，半正定矩阵集是一个凸锥。半正定矩阵在许多领域，如机器学习和控制系统中都有广泛应用。超平面和半空间是定义多维空间分割的关键几何对象，而欧式球和椭球则是描述数据分布的重要几何结构。 最后，资料强调了充分统计量和广义线性模型（GLM），它们在统计分析中起着重要作用。充分统计量是能够完全捕捉样本信息的统计量，而GLM则将线性模型扩展到更广泛的响应变量分布，如泊松分布和伯努利分布。 这份资料深入浅出地介绍了优化问题的基本形式，特别是凸优化的相关理论，对于理解和应用这些概念解决实际问题具有很高的价值。