支持向量机(SVM)基础讲解

"支持向量机导引.ppt - 哈尔滨理工大学网络信息中心 孙宗宝 2006年12月20日 学术交流" 支持向量机（Support Vector Machine，SVM）是一种基于统计学习理论的机器学习方法，由Boser、Guyon和Vapnik在90年代中期提出。SVM最初设计用于处理小样本问题，特别适用于线性和非线性分类以及回归任务。相比于其他机器学习算法，如神经网络，SVM在防止过学习、处理高维数据和寻找全局最优解方面具有优势。 SVM的核心概念包括向量的内积和超平面。向量的内积是衡量两个向量之间关系的重要数学工具，而超平面则是分类决策边界，它可以将数据分为两类。在二维空间中，最优分类平面要求既能正确区分两类样本，又能让两类样本与分类平面的距离最大化，以获得最大的间隔（margin）。 寻找最优分类平面的目标是找到一个能够正确分类最多样本且间隔最大的超平面。这个超平面的方程通常表示为 w·x + b = 0，其中 w 是法向量，x 是输入样本，b 是偏置项。线性可分样本集可以用这样的超平面进行完美分类，每个样本点到超平面的距离可以被 w·x + b 的符号所决定。 在实际应用中，数据往往不是线性可分的，这时SVM引入了核函数的概念。核函数能够将数据从原始特征空间映射到一个高维空间，在新空间中原本非线性可分的数据可能变得线性可分。常见的核函数有线性核、多项式核、高斯核（径向基函数，RBF）等，它们帮助SVM解决复杂的分类问题。 SVM网络是SVM的另一种表述方式，它通过构建神经网络模型来实现SVM的功能。在这个网络中，支持向量是那些离分类边界最近的样本点，它们对确定分类边界起着关键作用。优化过程中，目标是最大化这些支持向量到超平面的距离，从而确保模型的泛化能力。 SVM以其强大的分类性能、理论基础和灵活性，在各种领域如文本分类、生物信息学、图像识别等得到广泛应用。它的核心思想在于找到最佳分类边界，同时最大化样本到边界的间隔，以提高模型的稳定性和泛化能力。通过核函数的使用，SVM能够有效地处理非线性问题，使其成为现代机器学习中的重要工具。