仿射集与凸集：凸优化基础解析

"仿射集和凸集的关系-凸优化与概率初步" 在数学优化领域，尤其是凸优化中，理解和区分仿射集与凸集的概念至关重要。这些概念在处理实际问题时，如机器学习中的支持向量机（SVM）和最大期望算法（EM）等，都有着广泛的应用。 首先，我们来探讨仿射集。仿射集是包含所有通过其中任意两点直线的集合。具体来说，如果集合C中任意两点(x1, y1)和(x2, y2)之间的线段(y = θx1 + (1 - θ)x2, θ ∈ [0, 1])也都在集合C内，那么集合C就是一个仿射集。仿射集的例子包括直线、平面和超平面，比如在方程Ax = b中描述的。仿射包是指包含集合C的最小仿射集，其仿射维数定义了这个集合的自由度或独立维度。 接下来，我们讨论凸集。一个集合被称为凸集，如果它包含连接其中任意两点的所有线段。也就是说，对于集合C内的点x1和x2，以及任何θ ∈ [0, 1]，点θx1 + (1 - θ)x2也都在C内。直观上，想象在一个平面上，如果你可以从集合中的一个点滑动一条线段到另一个点而不离开该集合，那么这个集合就是凸的。例如，一个二维平面上的任何圆形或矩形都是凸集。 由于仿射集的定义包含了所有通过集合内两点的直线，而不仅仅是线段，这实际上比凸集的定义更强。因此，所有的仿射集都是凸集，但并非所有凸集都是仿射集。例如，一个只包含原点的集合是凸的，但不是仿射的，因为它不包含除原点外的任何直线。 在凸优化中，我们通常寻找函数的全局最优解，因为凸函数在其定义域内没有局部极小值，只有一个全局最小值。这使得问题的求解变得更加简单和稳定。例如，最小二乘问题可以被看作是一个凸优化问题，通过使用凸优化的思想可以找到最佳拟合直线。 此外，理解凸包的概念也很重要。一个集合的凸包是包含该集合的所有点的最小凸集。这意味着，任何在原始集合外部的点都会被排除在外，而只保留那些可以通过连接集合内点形成的线段到达的点。这对于理解和构造优化算法非常关键。 最后，锥和半正定矩阵集是另外两个相关的概念。锥是由非零点出发，所有方向都指向正无穷的集合。半正定矩阵集是一个凸集，因为半正定矩阵的线性组合仍为半正定，这使得它满足凸集的定义。在凸优化中，半正定矩阵常用于定义凸优化问题的可行域，例如在拉格朗日乘子法中。 仿射集和凸集是凸优化的基础概念，它们在概率论、统计学以及各种优化算法中起着核心作用。了解这些概念及其相互关系有助于深入理解和支持向量机、EM算法等复杂方法的理论基础。