理解SVM：从Logistic回归到支持向量机

"这篇文档是关于支持向量机（SVM）的学习，作者JerryLead通过重新审视logistic回归来引入SVM的概念。" 在机器学习领域，支持向量机（Support Vector Machine，简称SVM）是一种高效且强大的有监督学习算法，尤其在分类和回归任务中表现出色。SVM的基本思想是找到一个最佳的决策边界，使得不同类别之间的间隔最大化，以此提高分类的准确性和泛化能力。 首先，文档回顾了logistic回归，这是SVM的一个基础。Logistic回归通过构建一个将特征线性组合后经过logistic函数映射的模型来实现二分类。函数形式为希尔伯特空间中的假设函数，其中θ是权重向量，x是特征向量，g(z)是logistic函数（也称为sigmoid函数），它将实数值映射到(0,1)之间，表示属于正类的概率。如果ℎ𝜃(x)大于0.5，样本被预测为正类，否则为负类。 在logistic回归中，真正决定类别的是θTx的值。理想的模型是使正类样本的θTx远大于0，负类样本的θTx远小于0。这样，logistic函数的作用主要是将这些值映射到(0,1)区间，便于分类。 当观察logistic回归的图形，可以发现模型试图找到一个分割点（θTx=0的线），使得数据点尽可能远离这条线。重点在于那些靠近分割线的点，因为它们对模型的边界最为敏感。优化的目标不是让所有点都达到最优，而是确保关键点（即靠近分割线的点）远离边界，从而增强模型的鲁棒性。 进入SVM，其核心思想与logistic回归类似，但更加强调最大间隔。SVM寻找一个最优超平面，使得两类样本之间的间隔最大化。这个超平面可以看作是logistic回归中的θTx=0的线。然而，SVM引入了一个新的概念——支持向量，即距离超平面最近的样本点。优化目标不再是所有点，而是支持向量，因为它们决定了超平面的位置和形状。 SVM通过解决一个凸优化问题来找到最优超平面，这通常涉及拉格朗日乘子和核函数。拉格朗日乘子用来平衡间隔最大化和样本正确分类，而核函数则用于将低维特征映射到高维空间，使得原本线性不可分的数据在高维空间中变得可分。 总结起来，SVM通过最大化间隔并关注支持向量来构建分类模型，其优势在于对噪声的容忍度较高，能够处理高维数据，并且在小样本情况下表现良好。而logistic回归则更多地关注所有数据点的整体优化。两者虽然在目标上有相似之处，但SVM在策略和方法上更为灵活和强大。