理解支持向量机：线性与非线性分类的策略

"第六章 支持向量机1" 支持向量机（SVM，Support Vector Machine）是一种广泛应用于二分类任务的监督学习模型。它的核心思想是寻找一个能够最大化类别间间隔的决策边界，这使其区别于早期的感知机模型。SVM通过引入核函数，能够处理线性不可分的数据，从而实现非线性分类。 1. 线性可分支持向量机：在数据线性可分的情况下，SVM采用硬间隔最大化的方法，寻找一个能将两类数据完全分开且具有最大间隔的超平面。这种模型是理想的分类器，但对噪声和异常点非常敏感。 2. 线性支持向量机：面对近似线性可分的数据，SVM采用软间隔最大化，允许一定数量的数据点落在决策边界内部，以增加模型的鲁棒性和泛化能力。这种模型被称为软间隔支持向量机。 3. 非线性支持向量机：对于线性不可分的数据，SVM利用核函数技术，将低维度的输入空间映射到高维度的特征空间，使得在特征空间中的数据变得线性可分。常见的核函数有多项式核、高斯核（径向基函数RBF）和sigmoid核等。核函数的选择直接影响模型的性能和复杂度。 4. 学习策略与优化目标：SVM的学习目标是找到一个最大化间隔的超平面，这通常转化为一个凸二次规划问题，或者等价于最小化正则化的合页损失函数。合页损失函数允许一定程度的误分类，同时鼓励大间隔。 5. 支持向量：在SVM中，距离超平面最近的训练样本点被称为支持向量，它们对决策边界的位置起决定性作用。只有支持向量参与了模型的构建，使得SVM在样本量大的情况下仍能保持高效。 6. 核技巧：核函数是SVM的关键，它使得在原始输入空间难以解决的非线性问题在高维特征空间中得以简化。核函数的选择直接影响模型的性能，需要根据具体问题选择合适的核函数。 7. 最优化算法：SVM的学习算法通常基于梯度下降法或 Cutting Plane Algorithm 等最优化方法，寻找最优的超平面。 支持向量机是一种灵活且强大的机器学习工具，通过间隔最大化和核函数的使用，能够处理各种复杂的分类问题。理解并正确选择核函数以及调整模型参数是应用SVM时需要关注的重点。