"支持向量机入门讲义主要讲解了支持向量机(SVM)的基础概念,特别是强调了最大间隔的线性分类器,以及支持向量的重要角色。"
支持向量机(Support Vector Machine,SVM)是一种监督学习算法,主要用于分类和回归任务。在该讲义中,SVM被介绍为一种寻找最佳超平面的模型,这个超平面能够将不同类别的数据分隔开来,同时保持与各类别样本的最大距离。
首先,讲义引入了线性分类器的概念,其工作原理是通过一个函数f(x, w, b) = sign(w.x - b),其中w是权重向量,x是输入样本,b是偏置项,来判断样本属于正类 (+1) 还是负类 (-1)。接着,通过一系列图形展示了不同的线性分类器,强调了虽然这些分类器都可以完成任务,但最优的选择应是具有最大间隔的那个。
间隔(Margin)是支持向量机的核心概念,它定义为分类超平面与最近的样本点之间的距离。最大间隔意味着分类器具有更好的泛化能力,因为它对噪声和新样本的容忍度更高。线性支持向量机(Linear SVM,或LSVM)就是寻找这样一个最大间隔的线性分类器。
支持向量是指那些距离超平面最近的样本点,它们决定了超平面的位置。在SVM中,只有这些支持向量对模型的构建有直接影响,而其他样本点则不直接影响决策边界。
为什么选择最大间隔?有两个主要原因:一是直观上,较大的间隔意味着分类更稳健;二是从学习理论的角度,最大间隔的分类器在面对未知样本时,其预测能力更强,即它具有较好的泛化性能。具体来说,分类超平面的确定可以通过优化问题来实现,目标是最小化间隔的同时最大化误分类的惩罚,这通常通过凸优化问题求解。
为了在数学上具体化这个分类超平面和间隔,我们可以用以下方式表示:对于训练集D={(x_i, y_i)}_{i=1}^m,目标是找到权重向量w和偏置b,使得超平面满足条件|w.x_i - b| ≥ 1 对所有支持向量i成立,并且最小化||w||(w的L2范数),以获得最大间隔。这是一个典型的拉格朗日乘数问题,可以通过解决相应的对偶问题来求解。
在实际应用中,SVM通过核技巧可以处理非线性可分问题,通过将原始特征空间映射到高维空间,使原本难以分离的数据变得可分。常用的核函数有线性核、多项式核、高斯核(RBF)等。
支持向量机通过寻找最大间隔的超平面来进行分类,这种策略提供了良好的泛化能力和对异常值的鲁棒性,使其在许多领域,如文本分类、图像识别、生物信息学等,都有广泛的应用。