帮我调整一下SVM的超参数,提高测试集得分:from sklearn.neighbors import KNeighborsClassifier from sklearn.datasets import load_digits from sklearn import svm, metrics from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt from sklearn.metrics import confusion_matrix from sklearn.metrics import plot_confusion_matrix import numpy as np #使绘图支持中文字符 from matplotlib import rcParams rcParams['font.family'] = 'SimHei' plt.rcParams['axes.unicode_minus'] = False In[2]: digits = load_digits() data = digits.data print(data[0]) print(digits.images[0]) print(digits.target[0]) plt.imshow(digits.images[0]) plt.show() In[3]: train_x, test_x, train_y, test_y = train_test_split(data, digits.target, test_size=0.3, random_state=82) print(train_x) clf = svm.SVC(kernel='linear') clf.fit(train_x, train_y) print("svm训练集得分: %.4lf" % clf.score(train_x, train_y)) print("svm测试集得分: %.4lf" % clf.score(test_x, test_y)) print(clf.predict(data)) plot_confusion_matrix(clf, test_x, test_y) plt.show() In[5]: ################################################################# fig = plt.figure(figsize=(6,13)) for i in range(40): y_pred = clf.predict([data[i]]) plt.subplot(8,5,i+1) plt.imshow(digits.images[i], interpolation='none') plt.title("%d---->%d"%(digits.target[i],y_pred)) plt.show()
时间: 2024-04-15 18:24:53 浏览: 150
要调整SVM的超参数以提高测试集得分,可以尝试以下方法:
1. 调整内核函数:尝试不同的内核函数,如`linear`、`rbf`、`poly`等。内核函数控制了样本在高维空间中的映射方式,不同的内核函数适用于不同类型的数据集。
2. 调整惩罚参数C:惩罚参数C控制了误分类样本的惩罚程度。较小的C值会产生较大的决策边界间隔,可能导致训练集误分类样本较多,但泛化性能较好;较大的C值会产生较小的决策边界间隔,可能导致训练集拟合程度较高,但泛化性能较差。可以尝试不同的C值来找到最佳的平衡点。
3. 调整核函数参数:对于非线性内核函数(如`rbf`和`poly`),可以调整相应的参数,如`gamma`和`degree`。`gamma`参数控制了高斯径向基函数或多项式函数的宽度,较小的gamma值表示较大的宽度,可能导致欠拟合;较大的gamma值表示较小的宽度,可能导致过拟合。`degree`参数控制了多项式函数的阶数,较高的阶数可能导致过拟合。
4. 使用交叉验证进行参数调优:可以使用交叉验证来选择最佳的超参数组合。可以使用sklearn中的`GridSearchCV`或`RandomizedSearchCV`来自动搜索最佳超参数组合,并评估每个组合的性能。
下面是调整超参数的示例代码:
```python
from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import load_digits
from sklearn import svm
from sklearn.model_selection import train_test_split, GridSearchCV
import matplotlib.pyplot as plt
from sklearn.metrics import plot_confusion_matrix
import numpy as np
# 使绘图支持中文字符
from matplotlib import rcParams
rcParams['font.family'] = 'SimHei'
plt.rcParams['axes.unicode_minus'] = False
# 加载手写数字数据集
digits = load_digits()
data = digits.data
print(data[0])
print(digits.images[0])
print(digits.target[0])
plt.imshow(digits.images[0])
plt.show()
# 划分训练集和测试集
train_x, test_x, train_y, test_y = train_test_split(data, digits.target, test_size=0.3, random_state=82)
print(train_x)
# 定义超参数搜索范围
param_grid = {'C': [0.1, 1, 10], 'kernel': ['linear', 'rbf', 'poly'], 'gamma': [0.01, 0.1, 1], 'degree': [2, 3, 4]}
# 使用交叉验证进行超参数搜索
clf = svm.SVC()
grid_clf = GridSearchCV(clf, param_grid, cv=5)
grid_clf.fit(train_x, train_y)
# 输出最佳超参数组合及对应的得分
print("最佳超参数组合: ", grid_clf.best_params_)
print("最佳测试集得分: %.4lf" % grid_clf.best_score_)
# 使用最佳超参数组合进行训练和预测
clf_best = svm.SVC(**grid_clf.best_params_)
clf_best.fit(train_x, train_y)
print("svm训练集得分: %.4lf" % clf_best.score(train_x, train_y))
print("svm测试集得分: %.4lf" % clf_best.score(test_x, test_y))
print(clf_best.predict(data))
plot_confusion_matrix(clf_best, test_x, test_y, display_labels=digits.target_names)
plt.title("混淆矩阵")
plt.colorbar(label="样本数量")
plt.show()
# 绘制数字和预测结果的子图
fig, axes = plt.subplots(8, 5, figsize=(6, 13))
for i, ax in enumerate(axes.flat):
y_pred = clf_best.predict([data[i]])
ax.imshow(digits.images[i], interpolation='none')
ax.set_title("%d---->%d" % (digits.target[i], y_pred))
ax.axis('off')
plt.tight_layout()
plt.show()
```
这样,你可以通过网格搜索找到最佳的超参数组合,并使用它们来训练和预测。希望对你有所帮助!
阅读全文