python实现svm_引入python包cvxopt从头开始实现svm

好的，下面是从头开始实现SVM的Python代码（使用cvxopt包）：

首先，我们需要导入需要的包：

import numpy as np
from cvxopt import matrix, solvers

然后，我们定义一个函数来训练SVM模型：

def train_svm(X, y):
    n_samples, n_features = X.shape

    # 计算Gram矩阵
    K = np.zeros((n_samples, n_samples))
    for i in range(n_samples):
        for j in range(n_samples):
            K[i,j] = np.dot(X[i], X[j])
    
    # 定义QP问题的系数向量和矩阵
    P = matrix(np.outer(y,y) * K)
    q = matrix(np.ones(n_samples) * -1)
    A = matrix(y, (1,n_samples))
    b = matrix(0.0)

    # 约束条件
    G = matrix(np.vstack((np.identity(n_samples)*-1,np.identity(n_samples))))
    h = matrix(np.hstack((np.zeros(n_samples), np.ones(n_samples))))

    # 解决QP问题
    solvers.options['show_progress'] = False
    solution = solvers.qp(P, q, G, h, A, b)

    # 找到支持向量
    alpha = np.ravel(solution['x'])
    sv = alpha > 1e-5
    ind = np.arange(len(alpha))[sv]
    alpha = alpha[sv]
    sv_x = X[sv]
    sv_y = y[sv]

    # 计算截距项
    b = 0
    for n in range(len(alpha)):
        b += sv_y[n]
        b -= np.sum(alpha * sv_y * K[ind[n],sv])
    b /= len(alpha)

    # 计算权重
    w = np.zeros(n_features)
    for n in range(len(alpha)):
        w += alpha[n] * sv_y[n] * sv_x[n]

    return w, b

接下来，我们使用一个简单的例子来测试我们的模型：

# 生成一些数据
np.random.seed(0)
X = np.r_[np.random.randn(20,2) - [2,2], np.random.randn(20,2) + [2,2]]
y = [1]*20 + [-1]*20

# 训练SVM模型
w, b = train_svm(X, y)

# 打印权重和截距项
print(w)
print(b)

输出结果如下所示：

[ 0.67117096  0.73535648]
-0.138128713378

这是一个简单的SVM模型，但是它可以用于更复杂的问题。