支持向量机SVM：从线性分类到核函数

"本文主要介绍了支持向量机（SVM）的基本概念，包括SVM的起源、作用，以及线性分类、分类间隔、核函数和松弛变量等关键概念。SVM是一种基于统计学习理论的分类模型，旨在找到最佳的超平面以实现样本的最优分离。" 支持向量机（SVM）是一种强大的机器学习模型，由Cortes和Vapnik于1995年提出，特别适用于处理小样本、非线性和高维数据的分类和回归问题。SVM的核心思想是在样本空间中寻找一个最优的超平面，该超平面能够最大程度地将不同类别的样本分开，同时最小化两类样本的最近距离，以达到最好的泛化能力。 在线性分类中，SVM利用判别函数（也称为超平面）进行决策。对于一个两类问题，超平面可以表示为线性函数f(x) = ωTx + b，其中ω是超平面的法向量，b是偏置项，x是样本的特征向量。样本点属于某一类别取决于f(x)的符号：如果f(x) > 0，则归为正类；若f(x) < 0，则归为负类。值得注意的是，超平面的选择不仅依赖于能正确分类训练样本，还要最大化两类样本之间的间隔。 分类间隔是SVM中的一个重要概念，它定义了最近的样本点到超平面的距离。较大的间隔意味着模型对噪声和未知数据的容忍度更高，因此具有更好的泛化性能。SVM的目标就是找到具有最大间隔的超平面。 对于非线性可分的数据，SVM引入了核函数。核函数能够将原始低维特征空间映射到高维空间，使得在高维空间中原本难以划分的数据变得线性可分。常见的核函数有线性核、多项式核、高斯核（RBF）等，它们能够在不直接计算高维空间向量乘积的情况下，间接实现这种映射，从而简化计算。 此外，SVM还引入了松弛变量(C-SVM)来处理那些在训练集中无法完美划分的样本，通过引入惩罚项，允许一部分样本误分类，以换取整体模型的优化。这使得SVM在面对有噪声或异常值的数据集时更具鲁棒性。 总结来说，SVM通过寻找最优超平面实现样本的分类，其核心在于最大化间隔和使用核函数处理非线性问题。在实际应用中，SVM可以广泛用于文本分类、图像识别、生物信息学等领域，展现出优秀的分类效果和泛化性能。