支持向量机公式1000字
时间: 2023-10-06 13:12:02 浏览: 69
支持向量机(Support Vector Machine,简称 SVM)是一种常见的监督学习算法,主要用于分类问题。其基本思想是找到一个最优的超平面,将不同类别的数据点分隔开来,从而实现分类。
下面是支持向量机的公式及其含义:
一、线性支持向量机
1. 线性分类函数
$$f(x)=w^Tx+b$$
其中 $x$ 是输入特征向量,$w$ 是权重向量,$b$ 是偏置。当 $f(x)>0$ 时,$x$ 属于正类;当 $f(x)<0$ 时,$x$ 属于负类。
2. 目标函数
$$\min_{w,b} \frac{1}{2}\|w\|^2$$
$$\text{subject to } y_i(w^Tx_i+b) \geq 1,i=1,2,\cdots,n$$
其中 $y_i \in \{-1,1\}$ 是样本标签,$x_i$ 是样本特征向量,$n$ 是样本数量。目标函数的意义是最小化权重向量的范数,从而得到最大的分类间隔。约束条件表示所有样本都应该被正确分类,并且离超平面的距离应该大于等于1。
3. 求解
使用拉格朗日对偶性,将原问题转化为对偶问题,即:
$$\max_{\alpha} \sum_{i=1}^n \alpha_i - \frac{1}{2} \sum_{i,j=1}^n \alpha_i \alpha_j y_i y_j x_i^Tx_j$$
$$\text{subject to } \alpha_i \geq 0, \sum_{i=1}^n \alpha_i y_i = 0$$
其中 $\alpha_i$ 是拉格朗日乘子,用于求解对偶问题。当求得 $\alpha$ 后,可以通过 $\alpha$ 和 $y_i$ 计算出权重向量 $w$ 和偏置 $b$,从而得到分类函数 $f(x)$。
二、非线性支持向量机
1. 非线性分类函数
$$f(x)=\sum_{i=1}^n \alpha_i y_i K(x_i,x)+b$$
其中 $K(x_i,x)$ 是核函数,用于将输入特征映射到高维空间。当 $K(x_i,x)$ 等于内积时,称为线性核函数。
2. 目标函数
$$\min_{\alpha} \frac{1}{2}\sum_{i,j=1}^n \alpha_i \alpha_j y_i y_j K(x_i,x_j)-\sum_{i=1}^n \alpha_i$$
$$\text{subject to } \alpha_i \geq 0, \sum_{i=1}^n \alpha_i y_i = 0$$
其中 $\alpha_i$ 是拉格朗日乘子,$K(x_i,x_j)$ 是核函数。目标函数