多分类支持向量机结构

### 多分类支持向量机的结构

在机器学习领域，支持向量机（SVM）最初被设计用于二元分类问题。然而，在实际应用中，许多场景涉及多个类别之间的区分。为了应对这一挑战，研究者们提出了多种方法来扩展标准的支持向量机模型以处理多类别的情况。

一种常见的策略是采用一对其余（One-vs-Rest, OvR），也称为一对一决策函数组合的方式构建多分类器体系结构[^1]。对于每一个可能的目标标签ti，训练一个单独的二值分类器Ci(x)，该分类器能够识别属于特定类i还是不属于此类的数据样本。当面对新的测试实例时，则通过比较各个子分类器给出的结果得分并选取具有最高置信度的那个作为最终预测结果。

另一种广泛使用的方案是一对一（One-vs-One,OVO）。这种方法会针对每两个不同类别之间建立两两对比的学习机制。具体来说就是如果有K个不同的类别，则总共需要创建C(K,2)=K*(K-1)/2个独立的支持向量机来进行成对判别。每当遇到待测对象时，所有这些双分类器都会对其进行评估，并依据投票原则决定其归属哪一类。

这两种方式各有优劣之处：OvR通常计算成本较低但可能会受到数据不平衡的影响；而OVO虽然更复杂些却往往能提供更好的泛化性能因为每个子分类器只专注于区别最相似的一组类别特征。

### 工作流程说明

给定一组带有标记的训练集{(xi,yi)}其中yi∈{c1,c2,...ck}表示k种互斥的可能性之一：

1. 如果选择了OvR模式，则为每一ci分别拟合一个线性或非线性的超平面H(w,b)使得它尽可能远离其他所有的cj(j≠i)[^2]；

2. 对于新输入x*，将其映射到高维空间后依次带入上述得到的各单分类边界方程求解f(xi)=sign(<w,φ(xi)>+b),这里<.,.>代表内积运算符，φ()指代核变换操作；

3. 统计所有输出指示值fi中的最大绝对数值所对应的下标即为目标类别编号。

from sklearn import svm
X = [[0], [1], [2], [3]]
Y = [0, 1, 2, 3]
clf = svm.SVC(decision_function_shape='ovo')
clf.fit(X, Y)

decisions = clf.decision_function([[1]])
print('Decision values:', decisions)
predicted_class = clf.predict([[1]])
print('Predicted class:', predicted_class)