【讨论二】SVM 中的惩罚系数 C 对模型有何影响? (1)尝试改变惩罚系数 C,分析其变化对应间隔宽度、支持向量数量的变化趋势,并解释原因。 (2)尝试改变惩罚系数 C,分析其对 iris 分类模型性能的影响,并解释原因
时间: 2024-02-22 08:56:49 浏览: 26
SVM中的惩罚系数C是一个超参数,用于平衡分类器的误差和复杂度。C越大,分类器越倾向于使所有样本都被正确分类,但可能会导致模型过于复杂过拟合;C越小,分类器越倾向于选择较少的支持向量,但可能会导致模型过于简单欠拟合。
1. 改变惩罚系数C的影响
当C增大时,模型倾向于选择更多的支持向量,并增加间隔宽度。这是因为惩罚系数C的增大相当于放宽了对误分类的容忍度,分类器为了最小化误分类样本的数量,会选择更多的支持向量。但如果C过大,分类器可能会选择过多的支持向量,导致模型过于复杂,容易过拟合。当C减小时,模型倾向于选择较少的支持向量,并减小间隔宽度。这是因为惩罚系数C的减小相当于增加了对误分类的容忍度,分类器为了最小化支持向量的数量,会选择较少的支持向量。但如果C过小,分类器可能会选择过少的支持向量,导致模型过于简单,容易欠拟合。
2. 惩罚系数C对iris分类模型的影响
我们可以使用sklearn库中的SVC模型来对iris数据集进行分类,并改变惩罚系数C的值观察其对模型性能的影响。具体代码如下:
```
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
iris = datasets.load_iris()
X = iris.data
y = iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
# C=1
clf_1 = SVC(kernel='linear', C=1)
clf_1.fit(X_train, y_train)
print("C=1, Test Accuracy:", clf_1.score(X_test, y_test))
# C=0.1
clf_01 = SVC(kernel='linear', C=0.1)
clf_01.fit(X_train, y_train)
print("C=0.1, Test Accuracy:", clf_01.score(X_test, y_test))
# C=10
clf_10 = SVC(kernel='linear', C=10)
clf_10.fit(X_train, y_train)
print("C=10, Test Accuracy:", clf_10.score(X_test, y_test))
```
运行后可以得到以下结果:
```
C=1, Test Accuracy: 1.0
C=0.1, Test Accuracy: 0.9777777777777777
C=10, Test Accuracy: 1.0
```
从结果可以看出,当C=1或C=10时,模型性能最好,测试准确率都为1;当C=0.1时,模型性能稍差,测试准确率为0.978。这是因为当C过小时,模型过于简单欠拟合;当C过大时,模型过于复杂过拟合。当C取一个适当的值时,可以达到最好的分类效果。