支持向量机(SVM)：从Logistic回归到最优分类边界

"这篇文档是关于支持向量机(SVM)的讲解，源自斯坦福大学老师的课程，由学生整理的中文笔记。文档首先通过重新审视逻辑回归(Logistic Regression)的概念，逐步引出支持向量机的基本思想和作用。" 支持向量机（SVM）是一种强大的有监督学习算法，广泛应用于分类和回归问题。它最初被引入是为了解决非线性可分问题，但后来发展成为一种处理高维和复杂数据的有效工具。SVM的核心理念是找到一个最优的分类边界，即所谓的最大间隔超平面，使得各类样本点与超平面的距离最大化。 在Logistic回归中，我们利用特征的线性组合并通过logistic函数映射到(0,1)区间，以此来估计样本属于正类的概率。函数希尔伯特映射(希尔伯特空间中的内积，即θTx)决定了分类的结果。当希尔伯特映射大于0.5时，样本被预测为正类，否则为负类。理想的Logistic回归模型会使得正例的θTx远大于0，负例的θTx远小于0，即让数据点尽可能远离分类边界。 SVM的引入是在Logistic回归的基础上进一步优化。它不仅关注所有点远离分类边界，而且特别关注那些靠近边界（即支持向量）的样本点。这些支持向量对构建分类超平面至关重要，因为它们定义了超平面的位置和方向。SVM的目标是找到一个可以最大化这些样本点到超平面距离的分类器，从而实现对未知数据的有效分类。 为了处理非线性问题，SVM引入了核函数的概念。核函数可以将原始数据映射到高维空间，使得原本在低维空间中难以分离的数据在高维空间中变得可分。常用的核函数有线性核、多项式核、高斯核（RBF）等。通过选择合适的核函数，SVM可以灵活地处理各种复杂的数据分布。 在训练过程中，SVM采用拉格朗日乘子法和软间隔最大化策略，允许一定数量的误分类（这些误分类的样本称为松弛变量），以提高模型的泛化能力。同时，通过正则化参数C的调整，可以平衡模型的复杂度和训练误差，防止过拟合。 总结来说，支持向量机通过寻找最大间隔超平面和利用核函数进行非线性变换，实现了对复杂数据集的高效分类。其优势在于能够自动处理高维数据，对小样本数据表现良好，并且对噪声和异常值具有一定的鲁棒性。通过对Logistic回归的深入理解，我们可以更好地领悟SVM的基本原理和应用场景。