支持向量机：函数间隔与几何间隔优化

本章节主要介绍了支持向量机（Support Vector Machine, SVM）的学习笔记，内容围绕着函数间隔和几何间隔的概念，以及如何通过支持向量来构建最大间隔分类器。首先，函数间隔用于衡量样本点到分类超平面的距离，但它受样本缩放影响，不反映实际距离。因此，引入了几何间隔，它是样本点到超平面的真实距离，更具有稳定性。 支持向量（Support Vectors）是指离分类超平面最近的那些样本点，它们决定了分类决策的边界。在寻找划分超平面时，目标是找到一个既能正确分类又具有最大间隔的超平面。这个最大间隔的优化问题可以通过最小化误差平方和（即间隔的平方）来实现，转化为目标函数： $$ \min_{\mathbf{w}, b} \frac{1}{2}\|\mathbf{w}\|^2 $$ $$ \text{s.t. } y_i(\mathbf{w}^T\phi(\mathbf{x}_i) + b) \geq 1 \quad \text{for all } i=1,...,n $$ 这里，$\mathbf{w}$是法向量，$b$是偏置项，$\phi(\cdot)$是映射到高维特征空间的函数。为了处理带约束的优化问题，特别是等式约束，章节引入了拉格朗日乘子法。拉格朗日乘子法将原始的带约束优化问题转换为一个无约束的函数求极值问题，通过构造拉格朗日函数： $$ L(\mathbf{w}, b, \alpha, \alpha^*) = \frac{1}{2}\|\mathbf{w}\|^2 - \sum_{i=1}^{n}\alpha_i[y_i(\mathbf{w}^T\phi(\mathbf{x}_i) + b) - 1] - \sum_{i=1}^{n}\alpha_i^*y_i $$ 其中，$\alpha_i$和$\alpha_i^*$是拉格朗日乘子，分别对应于等式约束的正负部分。通过求解拉格朗日函数的梯度等于零，我们可以得到关于$\mathbf{w}$, $b$, $\alpha_i$和$\alpha_i^*$的方程组，这些方程组被称为KKT条件，是求解此类优化问题的关键。 拉格朗日乘子法的优势在于，它能够处理等式约束，但不适用于所有类型的约束问题，如不等式约束。在实际应用中，针对不等式约束，需要转化为KKT条件下的优化策略。总结来说，本章节的核心内容围绕着支持向量机的理论基础，特别是如何通过引入几何间隔和拉格朗日乘子来求解带有约束的最优化问题，以构建具有最大间隔的分类模型。