数据集为cut_content,使用python进行文本分类,使用朴素贝叶斯分词算法和支持向量机分词算法,进行交叉验证,其中国80%为训练,20%为测试集。请给出具体代码
时间: 2024-02-25 21:59:43 浏览: 74
爬虫代码,数据集寻找加自动分类,训练集,测试集自动生成!下载就可用,python
好的,以下是基于朴素贝叶斯和支持向量机算法的文本分类代码:
```python
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score, classification_report
# 读取数据集
data = pd.read_csv('cut_content.csv')
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(data['content'], data['label'], test_size=0.2)
# 特征提取
vectorizer = CountVectorizer() # 朴素贝叶斯算法中使用词袋模型
# vectorizer = TfidfVectorizer() # 支持向量机算法中使用tf-idf模型
X_train = vectorizer.fit_transform(X_train)
X_test = vectorizer.transform(X_test)
# 构建模型
nb = MultinomialNB() # 朴素贝叶斯算法
# nb = SVC() # 支持向量机算法
nb.fit(X_train, y_train)
# 预测
y_pred = nb.predict(X_test)
# 评估
print('Accuracy:', accuracy_score(y_test, y_pred))
print(classification_report(y_test, y_pred))
```
其中,朴素贝叶斯算法中使用词袋模型(`CountVectorizer()`),支持向量机算法中使用tf-idf模型(`TfidfVectorizer()`)。可以根据需要选择使用哪种模型。
另外,交叉验证可以通过`cross_val_score`函数实现。例如,如果要进行5折交叉验证,可以这样写:
```python
from sklearn.model_selection import cross_val_score
scores = cross_val_score(nb, X_train, y_train, cv=5) # 朴素贝叶斯算法
# scores = cross_val_score(svm, X_train, y_train, cv=5) # 支持向量机算法
print('Cross validation scores:', scores)
print('Average score:', scores.mean())
```
阅读全文