支持向量机深度解析：间隔、SMO算法与核函数应用

在Datawhale第五次打卡的机器学习第六章笔记中，主要探讨了支持向量机（Support Vector Machine, SVM）的相关概念和技术。以下是本章节的关键知识点： 1. **支持向量与间隔**：支持向量是指离超平面最近的训练样本点，它们决定了分类决策边界（间隔）的宽度，记为γ。间隔γ可以通过向量w的模长|w|来衡量。 2. **支持向量机的基本模型**：原始的间隔最大化问题通过转换为平方形式，得到了支持向量机的标准形式，目标是最大化间隔γ，并控制权重向量w的范数（||w||^2）。 3. **对偶问题与拉格朗日乘子法**：为了解决原问题，引入拉格朗日函数，通过构造拉格朗日函数并求其下界，将问题转化为求解一个关于拉格朗日乘子的最优化问题。这个过程涉及构造拉格朗日函数、求解导数等于零的方程、得到拉格朗日算子以及KKT条件的运用。 4. **SMO算法**：Sequential Minimal Optimization (SMO)算法是一种高效求解对偶问题的方法，通过每次仅优化两个拉格朗日乘子，寻找导致目标函数值最大减少的变量组合。选择的两个乘子对应的样本间间隔通常较大。 5. **核函数**：SVM通过核函数将低维数据映射到高维特征空间，使得原本非线性的分类问题变得线性可分。核函数的选择至关重要，它定义了特征空间的结构，并且任何半正定核函数都对应一个特征空间（Reproducing Kernel Hilbert Space, RKHS）。 6. **软间隔与正则化**：为避免过拟合，引入了软间隔（也称为松弛变量），允许部分样本被错误分类。这通过添加ξi（松弛变量）和相应的拉格朗日函数进行处理，以及相应的KKT条件来确保模型性能和泛化能力。l0/1范数（如误分类惩罚项）通常不理想，因此通常使用l2范数进行正则化。 7. **对偶问题的修改**：引入正则化后的对偶问题中，除了原始约束外，还需考虑ξi和KKT条件，其中ξi表示样本点是否属于间隔边界，而等式成立的样本被认为是支持向量。 8. **总结**：支持向量机通过巧妙的数学转化和核技巧解决了非线性分类问题，SMO算法是解决大规模问题的有效手段，而选择合适的核函数和平衡间隔与正则化的策略是构建有效SVM模型的关键。理解这些原理有助于深入掌握和支持向量机在实际应用中的优化和调整。