没有合适的资源?快使用搜索试试~ 我知道了~
首页SVM支持向量机浅入深出+python实现SMO算法
资源详情
资源评论
资源推荐

支持向量机(Support Vector Machines,
SVM)
线性可分支持向量机
线性可分支持向量机
给定训练数据:
其中 可以被一超平面 根据类别 分开。
给定线性可分训练数据集,通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离
超平面为
以及相应的分类决策函数
称为线性可分支持向量机
函数间隔和几何间隔
对于给定的训练集 以及超平面 ,任意的 到超平面的距离为:
其中分子|w·x_i+b|可以相对的表示 到超平面的距离,可以将其认为分类的确信程度(离超平
面越远确信程度越高),而 和 的乘积可以表示分类是否正确,所以可以用 来表
示分类的正确性以及确信度。
函数间隔
对于给定的训练集T以及超平面(w,b),定义超平面关于样本点(x_i,y_i)的函数间隔为:
而超平面关于训练集T的函数间隔定义为:
几何间隔
注意到,当 成倍数增长时,函数间隔 也会成倍数增长,即:
但是超平面 是没有发生变化的:
为了唯一的确定超平面,我们可以对 做一些约束,使得 ,从而可以得到唯一的 。
定义超平面对样本点(x_i,y_j)的几何间隔为:

定义超平面对训练集的几何间隔为:
根据函数间隔和几何间隔的定义可以得出两者的关系:
间隔最大化
对线性可分的训练数据集而言,线性可分分离超平面有无穷多个(等价于感知机),但是几何间隔最
大的分离超平面却是唯一的。这里的间隔最大化又称为硬间隔最大化。
间隔最大化的直观解释是:对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训
练数据进行分类。也就是说,不仅将正负实例点分开,而且对最难分的实例点(离超平面最近的点)也有
足够大的确信度将他们分开。这样的超平面应该对未知的新实例有很好的分类预测能力。
最大间隔分离超平面
几何间隔最大的分离超平面,并且满足一些约束条件,等价于下面的约束最优化问题:
考虑函数间隔和几何间隔的关系,这个问题也等价于:
函数间隔的取值并不影响最优化问题的解(不影响模型),也就是说,当 成倍数增长时,函数间
隔也成相同倍数增长,但是模型(超平面)是不变的。反之,如果函数间隔不确定, 会有无穷多个解
(都成一定的倍数关系),为了确定出唯一解,这里我们设定 ,那么问题就转化为:
为了方便后续计算,上述问题等价于:
为了使构造函数是凸函数,将上述问题继续等价:
得到上述的等价问题就可以应用拉格朗日数乘法了。
支持向量和间隔边界
剩余12页未读,继续阅读
















安全验证
文档复制为VIP权益,开通VIP直接复制

评论0