![](https://csdnimg.cn/release/download_crawler_static/86275766/bg1.jpg)
http://weibo.com/yanxiangzhang http://blog.csdn.net/stdcoutzyx
斯坦福 ML 公开课笔记 8
本篇讲述了 SVM(Support Vector Machine,支持向量机)的剩余部分。即核技法(Kernels)、
软间隔分类器(soft margin classifier)、对 SVM 求解的序列最小化算法(Sequential Minimal
Optimization,SMO)以及 SVM 的一些应用。
由本篇可以看到,将笔记 7 中提到的原始/对偶问题引入到最有间隔分类器中,有两个
好处,均在本章体现,其一是凡是在对偶最优问题中出现内积的地方,都可以用核替代,一
定程度上可以解决非线性可分的问题,还有一个从根本上解决非线性可分问题的方法是软间
隔分类器,也在本篇。其二是可以 SMO 算法对问题进行求解,非常高效。
核技法
回忆一下上篇笔记中得到的简化的最优问题,#1:
定义函数为向量之间的映射,一般是从低维映射到高维,比如在前面笔记中提到的
房价和面积的关系问题中,可以定义为:
其中,x 为面积。
这样,就可以将#1 问题中目标函数中的内积
替换为
的形式,
这样就达到了将低维空间上的数据映射到高维空间上,使数据线性可分的概率变大,即不能
保证在高维上一定是线性可分的,但一般情况下高维空间上比低维空间上更加线性可分。
但有些时候,经过映射后的向量的维度过高,导致映射后向量内积的计算复杂度过高。
为了解决这个问题,我们正式引入核函数:
(1)
其中,X,Z 即为上面的
,为了简化表示,去掉了上标。
核函数的作用在于定义了核函数后,可以不用明确的定义出映射函数,就能计算两个向
量在高维空间中的内积了,而且时间复杂度低。
下面举几个核函数的例子。
(2)
其对应的映射函数为
(3)
一个相似的核函数如下:
(4)
其对应的映射函数为
(5)
一个更一般化的核函数如下: