3.
在决定分离超平面时,只有支持向量起作用,其他的实例点并不起作用。
如果移动支持向量,将改变所求的解。
如果在间隔边界以外移动其他实例点,甚至去掉这些点,则解是不变的。
4.
由于支持向量在确定分离超平面中起着决定性作用,所以将这种分离模型称为支持向量机。
5.
支持向量的个数一般很少,所以支持向量机由很少的、重要的训练样本确定。
1.5
对偶算法
1.
将线性可分支持向量机的最优化问题作为原始最优化问题,应用拉格朗日对偶性,通过求解对偶问题得到原
始问题的最优解。这就是线性可分支持向量机的对偶算法。
2.
对偶算法的优点:
对偶问题往往更容易求解。
引入了核函数,进而推广到非线性分类问题。
3.
原始问题:
定义拉格朗日函数:
其中
为拉格朗日乘子向量。
根据拉格朗日对偶性,原始问题的对偶问题是极大极小问题:
先求
。拉格朗日函数分别为
求偏导数,并令其等于
0