支持向量机与核技巧详解

本节主要介绍了支持向量机（Support Vector Machine, SVM）中的一个重要概念——核技巧（Kernel Trick）。SVM是一种监督学习模型，尤其在分类和回归任务中表现出色。在处理非线性可分数据时，SVM通过特征转换（feature mapping）将原始数据映射到高维空间，从而可能在高维中找到一个超平面实现更好的分类。 1. **对偶问题与核技巧** 在原始的SVM优化问题中，我们通常处理的是对偶问题，其中涉及到求解拉格朗日乘子λ。对偶问题的形式如下： \[ \text{minimize} \quad \frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\lambda_i\lambda_j y_i y_j \Phi(x_i)^T\Phi(x_j) - \sum_{i=1}^{N}\lambda_i \] 其中，\( \lambda_i \) 是拉格朗日乘子，\( y_i \) 是样本的类别标签，\( \Phi(x) \) 是特征映射函数。对偶问题的优势在于可以避免直接在高维空间进行计算，但计算内积 \( \Phi(x_i)^T\Phi(x_j) \) 依然复杂。 2. **核技巧** 核技巧的引入解决了这一问题。它将特征映射和内积合并为一步，用核函数 \( \kappa(x_i, x_j) \) 替代内积，使得我们可以不直接计算高维空间的点而仅在原空间计算核函数。例如，对于二阶多项式核函数： \[ \kappa(x_i, x_j) = (x_i \cdot x_j)^2 \] 3. **高斯核函数（径向基函数）** 高斯核函数，也称为径向基函数（Radial Basis Function, RBF），是最常用的核函数之一，形式如下： \[ \kappa(x_i, x_j) = e^{-\gamma \|\mathbf{x}_i - \mathbf{x}_j\|^2} \] 其中，\( \gamma \) 是一个参数，控制了核函数的宽度。高斯核函数模拟了高斯分布，可以表示任意维度的非线性关系。 4. **正定核函数** 核函数必须是正定的，这意味着它们对应的Gram矩阵是半正定的。这是确保SVM优化问题有唯一最优解的必要条件。一个核函数 \( \kappa \) 是正定的，当且仅当对于所有非零向量 \( \mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n \)，Gram矩阵 \( K \) 的所有主子矩阵都是半正定的，即 \( K[i,j] = \kappa(\mathbf{x}_i, \mathbf{x}_j) \)。 5. **应用与重要性** 核技巧使得SVM能够在低维空间中高效地解决非线性问题，而无需实际计算高维映射。这极大地扩展了SVM的应用范围，使其能够处理如图像识别、自然语言处理等复杂任务，尤其是在数据集维度较高或者非线性关系复杂的场景下。 总结，支持向量机的核技巧是其核心算法之一，通过核函数巧妙地在原始数据空间中实现高维特征映射，简化了计算，增强了模型的表达能力，使SVM成为解决非线性分类问题的强大工具。