线性支持向量机svm学习笔记

线性支持向量机（Linear Support Vector Machine, SVM）是一种监督学习模型，主要用于分类任务，特别适合处理高维数据。它的基本思想是找到一条最优超平面，最大化各个类别之间的间隔，即“最大边距”，使得两类样本点到这条直线的距离最远。这种选择超平面的方式使得模型对噪声有很好的鲁棒性。

以下是线性SVM的一些关键要点：

1. **最大边界**：通过优化间隔，SVM试图找到一个决策边界，这个边界能够最好地区分两个类别的数据，同时尽可能地远离训练数据点，形成所谓的“间隔”。

2. **核函数**：虽然原始的线性SVM只适用于线性可分的数据，但可以使用核函数（如多项式、径向基函数RBF等）将非线性数据映射到高维空间，使其变得线性可分。

3. **软间隔**：理想情况下，所有样本都应该位于间隔两侧；但在实际中可能存在一些难以划分的“边沿”实例，称为“支持向量”。引入惩罚项允许部分样本跨越边界，这就是软间隔的支持向量机。

4. **高效求解**：SVM利用了拉格朗日乘数法和二次规划（QP）算法，可以有效地解决大规模数据集下的优化问题。