支持向量机(SVM)原理与推导解析

"SVM推导-draco.docx" 支持向量机（Support Vector Machine, SVM）是一种强大的监督学习算法，主要用于二分类任务。其核心思想是寻找一个最优的超平面，这个超平面能够最大程度地将不同类别的样本点分开。在二维空间中，这个超平面直观上是使得两类样本点距离最远的分界线。随着维度的增加，这个概念可以通过数学公式进行精确表述。 在样本空间中，超平面可以表示为决策函数 \( w \cdot x + b = 0 \)，其中 \( w \) 是权重向量，\( b \) 是偏置项。样本点 \( (x_i, y_i) \) 到超平面的函数间隔定义为 \( y_i(w \cdot x_i + b) \)，而几何间隔是函数间隔的正比系数 \( \frac{1}{\|w\|} \)。如果所有样本点都满足间隔最大化，那么这个超平面就是最优的。 在SVM的优化目标中，我们希望找到一个能够正确分类训练数据且具有最大几何间隔的超平面。数学上，这可以表示为最大化间隔的优化问题，即 \( \max_{w,b} \frac{1}{\|w\|} \)，同时需满足所有样本点的分类正确，即 \( y_i(w \cdot x_i + b) \geq 1 \) 对所有 \( i \) 成立。为了简化问题，通常会设定 \( \|w\|^2 = 1 \)，这样最大化间隔就等同于最小化 \( \frac{1}{2}\|w\|^2 \)。 引入拉格朗日乘子 \( \alpha_i \) 和拉格朗日函数 \( L(w, b, \alpha) \)，我们可以构建对偶问题，避免直接处理 \( w \)。拉格朗日函数通常定义为原始问题的目标函数加上违反约束的惩罚项，即 \( L(w, b, \alpha) = \frac{1}{2}\|w\|^2 - \sum_{i=1}^{N} \alpha_i(y_i(w \cdot x_i + b) - 1) \)。通过对 \( w \) 和 \( b \) 求导并令其等于零，可以解出 \( w \) 和 \( b \) 关于 \( \alpha \) 的表达式。 在解决对偶问题时，KKT条件（Karush-Kuhn-Tucker 条件）是必要的，它们确保了最优解满足原始问题和对偶问题的一致性。KKT条件指出，对于每一个训练样本，要么 \( \alpha_i = 0 \) 而对应的样本点不参与分类决策（非支持向量），要么 \( 0 < \alpha_i < C \) 并且样本点位于间隔边界上（支持向量）。这里的 \( C \) 是惩罚参数，控制了对误分类的容忍度。 线性不可分的情况下，SVM通过引入核函数（如高斯核、多项式核等）将低维线性不可分问题转换为高维线性可分问题。核函数能够将数据非线性映射到一个新的特征空间，使得在新空间中的数据变得线性可分，从而实现分类。 SVM通过寻找最大间隔超平面，解决了分类问题，并通过拉格朗日对偶性简化了优化过程，同时利用核函数扩展到非线性场景。在实际应用中，SVM表现出优秀的泛化能力和对小样本数据的高效处理能力。