理解凸优化：从超平面到半空间

"超平面和半空间-4.1凸优化初步" 本文主要介绍了凸优化的基础概念，包括超平面、半空间以及与之相关的几何概念，如仿射集、仿射包、凸集、凸包、锥等。这些概念在机器学习、统计学以及优化理论中具有重要意义。 首先，超平面（hyperplane）是n维空间中的一种特殊子集，由所有满足特定线性方程的点组成，例如在三维空间中，超平面可以是二维的平面。超平面将空间分为两个部分，即半空间（halfspace），每个半空间包含超平面且不包含其他点。半空间是由超平面定义的，所有与超平面距离小于或等于零的点的集合构成一个半空间，而另一个半空间由距离大于零的点组成。 接着，文章提到了凸集（convex set）的概念，它是这样一个集合：如果集合内的任意两点之间的线段都完全位于集合内部，那么这个集合就是凸的。例如，实数轴上的线段、二维平面上的任何凸多边形都是凸集的例子。仿射集（affine set）则是更一般的概念，它包含所有通过集合内任意两点的直线。由于仿射集要求通过任意两点的直线都在集合内，所以仿射集一定是凸集。 仿射包（affine hull）是包含给定集合的最小仿射集，而仿射维数（affine dimension）则是仿射包的维度。例如，三角形的仿射维数为2，因为它可以通过三个点确定，而线段的仿射维数为1，因为它实际上是一条直线。 凸包（convex hull）是包含一个集合的最小凸集，它是通过将集合中的所有点连接成线段形成的最小凸集。在几何上，它是所有可能连接集合中任意两点的线段的包络。 此外，文章还提到了锥（cone）的概念，它是一组点的集合，满足这样的性质：如果集合包含点A和非零标量λ乘以点A，那么它也包含所有介于这两点之间的点。半正定矩阵集是一个凸锥，因为对于任何半正定矩阵和非负标量λ，λ倍的半正定矩阵仍然是半正定的。 这些基础概念是凸优化理论的核心，它们为理解和支持向量机（SVM）、最小二乘问题、广义线性模型（GLM）等实际应用提供了理论框架。在实际的优化问题中，特别是那些出现在机器学习算法中的问题，寻找全局最优解通常需要利用凸优化的性质，因为它能确保找到的解是最优的，而不仅仅是局部最优解。