SVM入门SVM的八股简介

摘自：http://www.matlabsky.com/thread-10317-1-1.html

SVM 入门 SVM 的八股简介

目录

目录

.....................................................................................................................................................

2

1. SVM 入门（一）SVM 的八股简介

................................................................................................

3

2. SVM 入门线性分类器之二&之三

.................................................................................................

5

3.1. SVM 入门（四）线性分类器的求解——问题的描述 Part1

............................................

8

3.2. SVM 入门（五）线性分类器的求解—问题的描述 Part2

9

4. SVM 入门（六）线性分类器的求解——问题的转化，直观角度

5. SVM 入门（七）为何需要核函数

6. SVM 入门（八）松弛变量

支持向量机(Support Vector Machine)是 Cortes 和 Vapnik 于 1995 年首先提出的，它

在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟

合等其他机器学习问题中[10]。

力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力[14]

（或称泛化能力）。

以上是经常被有关 SVM 的学术文献引用的介绍，有点八股，我来逐一分解并解释一下。

所以区别于传统机器学习的本质，就在于统计机器学习能够精确的给出学习效果，能够解答

需要的样本数等等一系列问题。与统计机器学习的精密思维相比，传统的机器学习基本上属

于摸着石头过河，用传统的机器学习方法构造分类系统完全成了一种技巧，一个人做的结果

可能很好，另一个人差不多的方法做出来却很差，缺乏指导和原则。

所谓 VC 维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC 维越高，一

个问题就越复杂。正是因为 SVM 关注的是 VC 维，后面我们可以看到，SVM 解决问题的时候，

和样本的维数是无关的（甚至样本是上万维的都可以，这使得 SVM 很适合用来解决文本分类

的问题，当然，有这样的能力也因为引入了核函数）。

结构风险最小听上去文绉绉，其实说的也无非是下面这回事。

机器学习本质上就是一种对问题真实模型的逼近（我们选择一个我们认为比较好的近似

这个与问题真实解之间的误差，就叫做风险（更严格的说，误差的累积叫做风险）。我

们选择了一个假设之后（更直观点说，我们得到了一个分类器以后），真实误差无从得知，

但我们可以用某些可以掌握的量来逼近它。最直观的想法就是使用分类器在样本数据上的分

类的结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值来表示。

这个差值叫做经验风险 Remp(w)。以前的机器学习方法都把经验风险最小化作为努力的目

标，但后来发现很多分类函数能够在样本集上轻易达到 100%的正确率，在真实分类时却一

塌糊涂（即所谓的推广能力差，或泛化能力差）。此时的情况便是选择了一个足够复杂的分

类函数（它的 VC 维很高），能够精确的记住每一个样本，但对样本之外的数据一律分类错

误。回头看看经验风险最小化原则我们就会发现，此原则适用的大前提是经验风险要确实能

够逼近真实风险才行（行话叫一致），但实际上能逼近么？答案是不能，因为样本数相对于

现实世界要分类的文本数来说简直九牛一毛，经验风险最小化原则只在这占很小比例的样本

置信风险与两个量有关，一是样本数量，显然给定的样本数量越大，我们的学习结果越

有可能正确，此时置信风险越小；二是分类函数的 VC 维，显然 VC 维越大，推广能力越差，

置信风险会变大。

泛化误差界的公式为：

R(w)≤Remp(w)+Ф(n/h)

公式中 R(w)就是真实风险，Remp(w)就是经验风险，Ф(n/h)就是置信风险。统计学习

的目标从经验风险最小化变为了寻求经验风险与置信风险的和最小，即结构风险最小。

SVM 正是这样一种努力最小化结构风险的算法。

SVM 其他的特点就比较容易理解了。

小样本，并不是说样本的绝对数量少（实际上，对任何算法来说，更多的样本几乎总是

线性不可分的一种特例而已，我们向来不怕方法过于通用）。

高维模式识别是指样本维数很高，例如文本的向量表示，如果没有经过另一系列文章

（《文本分类入门》）中提到过的降维处理，出现几万维的情况很正常，其他算法基本就没

有能力应付了，SVM 却可以，主要是因为 SVM 产生的分类器很简洁，用到的样本信息很少

（仅仅用到那些称之为“支持向量”的样本，此为后话），使得即使样本维数很高，也不会

给存储和计算带来大麻烦（相对照而言，kNN 算法在分类时就要用到所有样本，样本数巨大，

每个样本维数再一高，这日子就没法过了……）。

下一节开始正式讨论 SVM。别嫌我说得太详细哦。