支持向量机多分类模型

### 支持向量机多分类模型理论

支持向量机（SVM）最初设计用于二元分类问题。然而，在实际应用中，许多情况下需要处理超过两个类别的数据集。为了应对这种情况，可以采用两种主要策略来扩展 SVM 到多类别分类：

#### 一对其余 (One-vs-Rest, OvR)

在这种方法下，对于 k 类别中的每一类 i ，构建一个二分类器 Ci 。该分类器将第 i 类标记为正样本 (+1)，而其他所有类别则被视作负样本 (-1)[^1]。

#### 一对一 (One-vs-One, OvO)

此方案涉及创建 C(k,2)=k*(k−1)/2 对不同类别之间的两两比较。每对组合训练出一个二分类器 Di,j 来区分这两者，并忽略剩余的数据点。当预测新实例时，通过投票机制决定最终归属哪个类别。

这两种方式各有优劣；通常来说，如果类别数量较少，则可以选择任一途径；但如果类别数目较大，那么 OvR 可能会更高效些因为只需要建立 K 个子模型而不是更多。

### 实现代码示例

下面给出 Python 中使用 Scikit-Learn 库实现一个多类别 SVM 的简单例子:

from sklearn import datasets
from sklearn.multiclass import OneVsRestClassifier
from sklearn.svm import SVC
import numpy as np

# 加载鸢尾花数据集作为示范
iris = datasets.load_iris()
X, y = iris.data, iris.target

# 创建并拟合 one-vs-rest 多分类器
clf = OneVsRestClassifier(SVC(kernel='linear'))
clf.fit(X, y)

def predict_single_sample(x_new):
    prediction = clf.predict([x_new])
    probabilities = clf.decision_function([x_new])
    
    print(f'Predicted class: {prediction}')
    print('Confidence scores:')
    for idx, score in enumerate(probabilities[0]):
        print(f'- Class {idx}: {score:.4f}')

predict_single_sample(np.array([5.1, 3.5, 1.4, 0.2]))

上述脚本展示了如何利用 `sklearn` 提供的功能快速搭建起基于线性核函数的支持向量机来进行三分类的任务。这里选择了 Iris 数据集作为一个简单的测试平台。