机器学习 支持向量机

支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，主要用于二分类问题。它通过寻找一个超平面来对样本进行分割，使得不同类别的样本点尽可能地被分开，并且使得超平面与最近的样本点之间的间隔最大化。

SVM的基本思想是将样本点映射到高维空间中，使得在高维空间中的样本点能够更容易地被线性分割。在高维空间中，SVM通过寻找一个最优的超平面来进行分类，这个超平面可以最大化不同类别样本点之间的间隔，从而提高分类的准确性。

SVM的训练过程可以转化为一个凸二次规划问题来求解，通过求解这个问题可以得到最优的超平面参数。在实际应用中，SVM可以使用不同的核函数来进行非线性分类，常用的核函数有线性核、多项式核和高斯核等。

以下是一个使用SVM进行二分类的示例代码：

from sklearn import svm
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt

# 生成样本数据
X, y = make_blobs(n_samples=100, centers=2, random_state=0, cluster_std=0.6)

# 创建SVM模型
clf = svm.SVC(kernel='linear')

# 训练模型
clf.fit(X, y)

# 绘制决策边界
plt.scatter(X[:, 0], X[:, 1], c=y, s=30, cmap=plt.cm.Paired)
ax = plt.gca()
xlim = ax.get_xlim()
ylim = ax.get_ylim()

# 创建网格来评估模型
xx = np.linspace(xlim[0], xlim[1], 30)
yy = np.linspace(ylim[0], ylim[1], 30)
YY, XX = np.meshgrid(yy, xx)
xy = np.vstack([XX.ravel(), YY.ravel()]).T
Z = clf.decision_function(xy).reshape(XX.shape)

# 绘制决策边界和支持向量
ax.contour(XX, YY, Z, colors='k', levels=[-1, 0, 1], alpha=0.5,
           linestyles=['--', '-', '--'])
ax.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=100,
           linewidth=1, facecolors='none', edgecolors='k')
plt.show()

这段代码使用了scikit-learn库中的SVM模块，通过make_blobs函数生成了一个二分类的样本数据，并使用线性核的SVM模型进行训练和预测。最后，通过绘制决策边界和支持向量的方式可视化了分类结果。