斯坦福ML公开课71：SVM详解：核方法与SMO求解

本篇笔记主要围绕斯坦福大学机器学习（ML）公开课的第七讲内容，深入解析支持向量机（SVM）的相关概念和技术。课程首先介绍了最优间隔分类器（OptimalMargin Classifier），它是SVM的核心思想，强调的是找到能够最大化数据点到决策边界的几何间隔，以实现更好的分类性能。原始问题（Primal Problem）与对偶问题（Dual Problem）是SVM理论的重要组成部分，通过拉格朗日乘子法，原始问题的复杂度得以转换，使得对偶问题的求解更为简洁，特别是当目标函数中涉及内积形式时，引入了核技巧（Kernel Trick）。 核技巧是SVM的一个关键创新，它允许处理非线性可分数据，通过将数据映射到高维特征空间，在该空间中找到线性可分的决策边界。核函数的选择（如线性核、多项式核、高斯核等）决定了解决问题的复杂性和效率。在这一阶段，序列最小化算法（Sequential Minimal Optimization, SMO）被引入，这是一种高效的局部搜索算法，用于在对偶问题中求解最优参数，确保模型的高效训练。 公开课以这样的逻辑顺序讲解SVM：从函数间隔与几何间隔的对比开始，到最优间隔分类器的定义，再到原始问题和对偶问题的转换，以及核技巧的运用，最后是SMO算法的应用。理解这些核心概念和方法后，读者能够系统地掌握SVM的原理，并能有效地解决实际问题。在整个过程中，作者假定了数据集是线性可分的，但在实际应用中，SVM也适用于处理非线性问题，显示了其强大的适应性。 通过这系列笔记，读者将深入了解SVM的工作原理，包括如何通过对偶形式优化求解，以及如何通过核技巧处理非线性问题，这对于理解和应用SVM技术来说至关重要。