从logistic回归到支持向量机：SVM原理解析

"支持向量机原理，包括与logistic回归的关系、函数间隔和几何间隔的概念" 支持向量机(SVM)是一种强大的有监督学习算法，尤其在分类问题上表现出色。它最初是为了处理二分类问题而设计的，但后来发展成为能够处理多分类和回归任务的模型。在SVM中，核心思想是找到一个最优的决策边界，即分类超平面，使得两类样本之间的间隔最大化。 在理解SVM之前，先来看一下与其紧密相关的logistic回归。logistic回归是一种广泛应用的分类方法，其目标是从特征学习一个0/1分类模型。通过将特征的线性组合输入logistic函数（也称为sigmoid函数），将实数值映射到(0,1)之间，表示为属于正类的概率。sigmoid函数的形式为： \[ g(z) = \frac{1}{1 + e^{-z}} \] 在这个模型中，\( z = w^Tx \)，其中\( w \)是权重向量，\( x \)是特征向量。logistic回归的假设函数是： \[ h_w(x) = g(w^Tx) \] 这个函数的输出可以解释为特征属于正类的概率。为了分类，我们比较h_w(x)与0.5的大小，大于0.5则认为是正类，小于则为负类。 然而，logistic回归仅关注了预测概率，而SVM则更关注找到一个能最大化样本与决策边界距离的分类器。在SVM中，有两种间隔概念：函数间隔（functional margin）和几何间隔（geometric margin）。 函数间隔是预测结果与正确类别的差距，不考虑样本点的实际位置，定义为： \[ \gamma = \frac{y(w^Tx)}{|w|} \] 其中，\( y \)是样本的真实类别（+1或-1），\( \gamma \)是函数间隔。而几何间隔是在考虑样本点到超平面距离时的实际间隔，它等于函数间隔除以样本点的范数，即： \[ \text{geometric margin} = \frac{\gamma}{||x||} \] SVM的目标是找到一个最大几何间隔的超平面，这可以通过解决一个凸优化问题实现，该问题涉及到最小化软间隔（允许一些样本错误分类）或者通过引入核函数来处理非线性问题。 在实际应用中，支持向量是那些离决策边界最近的样本点，它们对确定超平面起着关键作用。SVM关注这些支持向量，试图最大化它们与决策边界的距离，从而提高模型的泛化能力。这种对边缘样本的关注使得SVM在处理噪声和复杂数据集时表现优秀。 SVM通过寻找最大间隔的超平面，实现了分类问题的有效解决，并且通过优化支持向量的位置，增强了模型的鲁棒性和泛化性能。而logistic回归则更多地关注于预测概率的连续性，两者的结合有助于深入理解分类模型的本质和构建过程。