林智仁教授2006年机器学习讲义：支持向量机详解

"林智仁教授在2006年的机器学习暑期学校中分享的讲义，主要涉及支持向量机（Support Vector Machines, SVM）的相关知识，包括基本概念、SVM的原问题与对偶问题、线性与非线性SVM的训练、参数与核函数的选择以及实际应用中的问题、多类分类以及讨论和结论。" 在这份讲义中，林智仁教授首先介绍了为什么选择SVM和核方法作为研究重点。SVM作为一种分类方法，在许多情况下表现与现有的分类技术相当，甚至更优，并且相对易于使用。同时，核技巧可以拓展到多个领域，如回归、密度估计和核主成分分析（kernel PCA）等。 接着，他深入讲解了支持向量分类的基本概念。支持向量机的核心在于训练样本，每个样本用特征向量表示，例如一个病人的数据可以包含身高、体重等特征。SVM的目标是找到一个最优的决策边界，使得数据点被正确分类的同时，边界尽可能远离最近的数据点，这些最接近边界的样本称为支持向量，它们对模型的构建至关重要。 SVM的优化问题通常分为原始问题和对偶问题。原始问题是直接对权重向量和间隔进行优化，而对偶问题则是通过拉格朗日乘子和核函数将问题转化为求解约束条件下的最大值问题。对偶问题的优势在于可以利用核函数将高维空间的非线性问题转换为低维空间的线性问题，从而简化计算。 在训练线性和非线性SVM时，线性SVM寻找的是一个超平面，而非线性SVM则通过核函数映射数据到高维空间，构造一个在该空间中的线性决策边界。常用的核函数有线性核、多项式核和高斯核（RBF）等，不同的核函数适用于不同类型的输入数据。 参数选择和实际问题部分，教授可能会讨论C参数（惩罚系数）和γ参数（RBF核函数的影响范围）的选取，以及如何避免过拟合和欠拟合。此外，还包括训练集大小、特征选择和预处理等实践中的问题。 最后，多类分类的讨论可能涉及一对多（one-vs-all）、一对一（one-vs-one）策略，以及SVM在多类问题上的扩展应用。 这份讲义提供了关于支持向量机全面而基础的介绍，对于理解和应用SVM有着重要的参考价值。无论是对初学者还是有经验的研究者，都能从中获得有益的信息。