给定训练集为 {( , ) | 1, 2,3} X x y i i i ,其中,每个训练样本 i x 是一个二维特征向量; { 1, 1} i y 为 i x 类标号。现有 1 x (4, 4) , 2 x (4,6), 3 x (2, 2) , 1 2 y y 1, 3 y 1。使用线性可分支持向量机的对偶学习算法求线性可分支持向量机。
时间: 2024-04-02 07:31:09 浏览: 111
基于支持向量机的训练部分
好的,针对你的问题,我会给出解答。这是一个二分类问题,我们需要使用线性可分支持向量机(SVM)的对偶学习算法求解。
首先,我们需要将每个样本映射到高维空间中,这里我们使用一个简单的映射:$\phi(x) = (x_1, x_2)$。然后,我们可以根据对偶问题来求解SVM。
对偶问题为:
$$\max_{\alpha}\sum_{i=1}^{m}\alpha_i - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_j\phi(x_i)^T\phi(x_j)$$
$$s.t. \ \sum_{i=1}^{m}\alpha_iy_i = 0, \ \alpha_i \geq 0, \ i=1,2,...,m$$
其中,$\alpha$为拉格朗日乘子,$m$为训练样本数。
将每个样本映射到高维空间中,得到新的训练样本为:
$$\begin{aligned}
\phi(1_x) &= (1, 1) \\
\phi(2_x) &= (2, 3) \\
\phi(3_x) &= (2, 2)
\end{aligned}$$
根据样本的类标号,可得:
$$\begin{aligned}
y_1 &= 1 \\
y_2 &= 1 \\
y_3 &= -1
\end{aligned}$$
代入对偶问题中,得到:
$$\max_{\alpha}\sum_{i=1}^{3}\alpha_i - \frac{1}{2}\sum_{i=1}^{3}\sum_{j=1}^{3}\alpha_i\alpha_jy_iy_j\phi(x_i)^T\phi(x_j)$$
$$s.t. \ \sum_{i=1}^{3}\alpha_iy_i = 0, \ \alpha_i \geq 0, \ i=1,2,3$$
化简可得:
$$\max_{\alpha}\sum_{i=1}^{3}\alpha_i - \frac{1}{2}\alpha_1\alpha_2\phi(x_1)^T\phi(x_2) - \frac{1}{2}\alpha_1\alpha_3\phi(x_1)^T\phi(x_3) - \frac{1}{2}\alpha_2\alpha_3\phi(x_2)^T\phi(x_3)$$
$$s.t. \ \alpha_1 + \alpha_2 = \alpha_3, \ 0 \leq \alpha_i \leq C, \ i=1,2,3$$
其中,$C$为惩罚参数,这里取$C=1$。
因为$\phi(x_1)^T\phi(x_2) = 1 \times 2 + 1 \times 3 = 5$,$\phi(x_1)^T\phi(x_3) = 1 \times 2 + 1 \times 2 = 4$,$\phi(x_2)^T\phi(x_3) = 2 \times 2 + 3 \times 2 = 10$,所以最终的对偶问题为:
$$\max_{\alpha}\alpha_1 + \alpha_2 - \frac{5}{2}\alpha_1\alpha_2 - 2\alpha_1 - \frac{3}{2}\alpha_2 + 1$$
$$s.t. \ \alpha_1 + \alpha_2 = \alpha_3, \ 0 \leq \alpha_i \leq 1, \ i=1,2,3$$
使用SMO算法求解上述对偶问题,可得:
$$\alpha_1 = \frac{1}{2}, \ \alpha_2 = \frac{1}{2}, \ \alpha_3 = 1$$
因为$\alpha_1$和$\alpha_2$均大于0,所以它们对应的样本是支持向量。根据支持向量的定义,我们可以得到分类超平面:
$$w^T\phi(x) + b = 0$$
其中,$w = \sum_{i=1}^{3}\alpha_iy_i\phi(x_i) = (1, 2)$,$b = y_3 - w^T\phi(x_3) = -2$。
因此,分类超平面为$w^T\phi(x) - 2 = 0$,即$y = \frac{1}{2}x - 1$。
阅读全文