二、计算题: a)已知一个如下图所示的训练数据集,其正类样本为x1= (3.3)T,x^2=(4.3)T,负类样本是x_=(1,1)5。 训练样本分布 7 6 ii. 2 3 4 5 试写出上述问题的线性 SVM 原始优化问题的数学形式, 包含目标函数与约束条件; 试写出经过拉格朗日对偶处理后的优化问题的数学形式, 包含目标函数与约束条件: iv. 试写出SVM对应的KKT条件。 对照图中的决策面和间隔区域,试推算样本xi,i=1,2.3对 应的系数αi,i=12,3.
时间: 2024-03-07 10:53:07 浏览: 158
a) 线性 SVM 原始优化问题的数学形式如下:
目标函数:$\min\limits_{w,b}\frac{1}{2}||w||^2$
约束条件:$y_i(w^Tx_i+b)\geq 1, i=1,2,3$
其中,$w$为超平面的法向量,$b$为截距,$x_i$为样本,$y_i\in\{-1,1\}$为样本类别。
经过拉格朗日对偶处理后的优化问题的数学形式如下:
目标函数:$\max\limits_{\alpha}\sum\limits_{i=1}^{3}\alpha_i-\frac{1}{2}\sum\limits_{i=1}^{3}\sum\limits_{j=1}^{3}y_iy_j\alpha_i\alpha_jx_i^Tx_j$
约束条件:$\sum\limits_{i=1}^{3}y_i\alpha_i=0$
其中,$\alpha_i$为拉格朗日乘子,对应于每个样本。通过求解上述对偶问题,可以得到超平面的法向量$w$和截距$b$。
SVM对应的KKT条件包括:
1. $\alpha_i\geq 0$
2. $y_i(w^Tx_i+b)-1+\xi_i=0$
3. $\alpha_i[y_i(w^Tx_i+b)-1+\xi_i]=0$
4. $\sum\limits_{i=1}^{3}y_i\alpha_i=0$
其中,$\xi_i$为松弛变量,$\alpha_i=0$意味着样本$i$不在支持向量上,$\alpha_i>0$意味着样本$i$在支持向量上,$0<\alpha_i<C$意味着样本$i$在间隔边界上。
根据图中给出的决策面和间隔区域,可以推算出样本$x_1=(3.3)^T$对应的系数$\alpha_1=1$,样本$x_2=(4.3)^T$对应的系数$\alpha_2=\frac{1}{2}$,样本$x_3=(1,1)^T$对应的系数$\alpha_3=0$(因为$x_3$是负类样本,不在支持向量上)。
阅读全文