SVM入门：最大间隔线性分类与Logistic回归的关系

在第 7 章 "支持向量机" 中，我们深入了解了支持向量机（SVM），这是一种在二类分类问题中广泛应用的机器学习算法。SVM的基本思想是寻找特征空间中能够最大化类别间的间隔（即“最大间隔”原则），这样做的目的是提高模型的泛化能力和鲁棒性。 7.2 节首先介绍了支持向量机的概念，它是基于线性分类器的。线性分类器的核心目标是在高维数据空间中找到一个超平面，该超平面能清晰地分割两类数据。超平面的方程形式为 wTx + b = 0，其中 w 是法向量，b 是偏置项，x 是特征向量，y 是对应的类别标记（1 或 -1）。 7.2.1.1 部分讨论了 1 或 -1 的分类标准，这是 SVM 与逻辑回归的联系之一。逻辑回归原本用于二分类问题，但其输出值范围是 (0, 1)，通过sigmoid函数（logistic函数）将其映射到概率空间，使得预测结果更直观。在 SVM 中，这一映射虽然简化了决策边界，但核心仍是找到具有最大间隔的超平面。 7.2.1.2 Logistic 回归的输出通过阈值 0.5 来判断类别，当预测概率大于 0.5，则分类为正类（y=1），反之为负类（y=0）。实际上，SVM 中的分类是由 wTx + b 的符号决定的，而不是 sigmoid 函数，w 的方向决定了分类方向，而距离则由间隔大小控制。 理解了线性分类的基础后，SVM 进一步扩展到了非线性分类，通过核技巧（kernel trick）将原始数据映射到高维特征空间，使得原本线性不可分的数据在新的特征空间中变得线性可分。常用的核函数包括线性核、多项式核和高斯核等，它们允许 SVM 在非线性情况下仍保持间隔最大化的优势。 总结来说，第 7 章围绕支持向量机深入讲解了其作为线性分类器的原理，强调了间隔最大化的重要性，并展示了如何通过核技巧处理非线性问题。通过对 Logistic 回归的理解，我们可以更好地认识 SVM 的分类决策过程，及其在实际应用中的优势。后续章节可能会探讨更多关于 SVM 的优化方法、参数选择以及在各种机器学习任务中的实际应用案例。