使用朴素贝叶斯、LOGIT、XGBOOST算法对文本进行文档分类实现代码
时间: 2023-12-18 13:05:00 浏览: 35
以下是使用Python和sklearn库实现朴素贝叶斯、LOGIT、XGBOOST算法对文本进行文档分类的示例代码:
```python
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.linear_model import LogisticRegression
from xgboost import XGBClassifier
# 加载数据集
newsgroups_train = fetch_20newsgroups(subset='train')
newsgroups_test = fetch_20newsgroups(subset='test')
# 特征提取,使用tfidf向量化器
vectorizer = TfidfVectorizer()
train_data = vectorizer.fit_transform(newsgroups_train.data)
test_data = vectorizer.transform(newsgroups_test.data)
# 使用朴素贝叶斯算法进行分类
nb_clf = MultinomialNB()
nb_clf.fit(train_data, newsgroups_train.target)
nb_acc = nb_clf.score(test_data, newsgroups_test.target)
print("MultinomialNB accuracy:", nb_acc)
# 使用logistic回归进行分类
logit_clf = LogisticRegression()
logit_clf.fit(train_data, newsgroups_train.target)
logit_acc = logit_clf.score(test_data, newsgroups_test.target)
print("LogisticRegression accuracy:", logit_acc)
# 使用XGBoost进行分类
xgb_clf = XGBClassifier()
xgb_clf.fit(train_data, newsgroups_train.target)
xgb_acc = xgb_clf.score(test_data, newsgroups_test.target)
print("XGBoost accuracy:", xgb_acc)
```
这里我们使用了20个新闻组的数据集进行文本分类,使用TfidfVectorizer进行文本特征提取,然后分别使用MultinomialNB、LogisticRegression和XGBoost算法进行文本分类,并输出各自的准确率。
相关推荐
![doc](https://img-home.csdnimg.cn/images/20210720083327.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)