凸优化理论基础：仿射集与凸集概念详解

凸优化理论是数学优化领域的重要分支，主要研究在凸集上的最优化问题。本文档涵盖了凸集的基本概念及其在各种数学结构中的应用。 首先，我们讨论了仿射集。仿射集是线性变换不变的集合，即对于任何点p和q，以及任何实数λ，点p+λ(q-p)始终属于该集合。仿射集具有以下特性： 1. 仿射集的关联子空间，如果A是仿射集，且包含向量空间V，那么集合A减去一个点后的余集V-A是一个子空间，仿射集可以视为子空间V与一个偏移向量的和。 2. 线性方程组的解集可以通过仿射集的概念来理解，即解集等同于一个仿射集与其关联子空间的交集，即零空间。 3. 仿射组合是形成仿射集的关键，它描述了如何通过线性加权的方式将集合中的点结合。 4. 仿射包则是仿射组合的所有可能结果的集合，它是最小的包含原集合的仿射集合。 5. 仿射维数衡量的是仿射包的子空间维度，它是决定集合在更大空间中位置的关键参数。 接下来，文档转向了凸集的概念，这是更严格的几何性质，使得任意两点之间的线段都完全在集合内部。凸集包括但不限于仿射集，且具有以下特性： 1. 凸组合是集合中点的线性组合，保持集合内的有效性，即混合或加权平均的结果仍然在凸集中。 2. 凸包是凸集的一种扩展，它包含集合中所有点的所有可能凸组合，是该集合的最小凸覆盖。 3. 对于无穷级数和积分的情况，如果元素是凸集的，那么相应的运算结果仍然是凸的，例如收敛的级数和积分下的凸组合。 4. 在概率论中，凸集与期望值也有密切关系，随机变量的期望值是其概率分布下的凸组合。 凸优化理论探讨的是如何在凸集合上求解最优化问题，这些概念在诸如经济学、机器学习中的线性规划、统计决策理论等领域都有广泛的应用。理解和掌握凸集的性质，对于处理这类问题至关重要。