支持向量机(SVM)学习详解

"该资源是一份关于支持向量机(SVM)的学习文档，旨在帮助读者理解SVM的基本原理和实现方法。文档通过重新审视logistic回归来引入SVM的概念，适合初学者快速掌握SVM的核心思想。" 支持向量机（Support Vector Machine，简称SVM）是一种强大的有监督机器学习算法，广泛应用于分类和回归任务。它最初由Vapnik等人提出，基于统计学习理论中的结构风险最小化原则和最大边界间隔理论。 在深入SVM之前，文档首先回顾了logistic回归。logistic回归是一种二分类模型，通过将特征的线性组合映射到(0,1)区间，表示为属于正类的概率。模型假设函数的形式为： \[ g(z) = \frac{1}{1 + e^{-z}} \] 其中，\( z = w^T x + b \)，\( w \)是权重向量，\( x \)是特征向量，\( b \)是偏置项，\( g(z) \)即为logistic函数（或sigmoid函数）。分类决策基于\( g(z) \)与0.5的比较，大于0.5归属正类，小于则归属负类。 在logistic回归中，关键在于找到最佳的分类超平面，使得正例点的预测概率显著大于1，而负例点的预测概率显著小于0。理想情况下，所有训练样本都应远离超平面，以提高模型的泛化能力。 然而，SVM的核心思想有所不同。SVM不是关注所有点，而是专注于那些离超平面最近的点，即“支持向量”。这些点对决策边界的影响最大，决定了分类面的位置。通过最大化这些点到超平面的距离（即间隔），SVM可以构建出一个具有鲁棒性和泛化能力的模型。相比于logistic回归，SVM更注重局部优化，尤其是在数据分布不均匀或者噪声较大的情况下，能更好地处理边界附近的样本。 SVM的优化目标是找到一个最大间隔的超平面，这可以通过解决一个凸二次规划问题实现。在实际应用中，当数据不是线性可分时，通过核函数（如高斯核、多项式核等）可以将数据映射到高维空间，从而在原始空间中不可分的数据在映射后可能变得可分。 SVM以其独特的优势在分类问题中表现出色，包括处理小样本、高维数据和非线性问题的能力。通过理解和应用SVM，可以解决许多实际的机器学习挑战。这份文档提供的学习路径从logistic回归入手，有助于读者逐步理解并掌握SVM的精髓。