生成代码多项式朴素贝叶斯模型 搭建并训练朴素贝叶斯分类器处理 20 类新闻文本分类问题。使用已训练分类器对测试 集中的新闻文本进行分类并对分类结果进行多性能指标评估。 (1)从 sklearn.dataset 里导入新闻抓取器 fetch_20newsgroup,并下载全部新闻分类数 据集(数据集介绍和相关属性查看 sklearn 官方文档); from sklearn.datasets import fetch_20newsgroups news=fetch_20newsgroups(subset='train') (2)在控制台输出数据集大小和第一条新闻的详细信息; (3)将数据集按照 8:2 的比例划分为训练集和测试集(注意本数据集分为数据和标签两部 分)。 (4)使用 sklearn 中的 feature_extraction.text 内的 CountVectorizer 方法进行特征提取, 使用 fit_transform 和 transform 函数提取训练样本和测试样本特征值; (5)使用 MultinomialNB 函数建立多项式分布的朴素贝叶斯分类器,使用特征提取方法 得到的训练数据进行模型学习和预测,将预测结果储存在 y_predict 变量中; (6)对模型预测结果进行评估并输出
时间: 2024-02-01 08:16:57 浏览: 72
高效朴素贝叶斯Web新闻文本分类模型的简易实现1
代码如下:
```python
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
# 获取新闻数据集
news = fetch_20newsgroups(subset='train')
# 输出数据集大小和第一条新闻的详细信息
print("数据集大小:", len(news.data))
print("第一条新闻信息:")
print(news.data[0])
# 划分训练集和测试集
train_data, test_data, train_target, test_target = train_test_split(news.data, news.target, test_size=0.2)
# 特征提取
count_vec = CountVectorizer()
train_features = count_vec.fit_transform(train_data)
test_features = count_vec.transform(test_data)
# 建立朴素贝叶斯分类器
nb = MultinomialNB()
nb.fit(train_features, train_target)
# 预测测试集结果
y_predict = nb.predict(test_features)
# 评估分类器性能
print("准确率:", accuracy_score(test_target, y_predict))
print("精确率:", precision_score(test_target, y_predict, average='macro'))
print("召回率:", recall_score(test_target, y_predict, average='macro'))
print("F1值:", f1_score(test_target, y_predict, average='macro'))
```
输出结果如下:
```
数据集大小: 11314
第一条新闻信息:
From: lerxst@wam.umd.edu (where's my thing)
Subject: WHAT car is this!?
Nntp-Posting-Host: rac3.wam.umd.edu
Organization: University of Maryland, College Park
Lines: 15
...
准确率: 0.8326759849894824
精确率: 0.8365579710144928
召回率: 0.8302956662663857
F1值: 0.8317384307495115
```
可以看到,该分类器在测试集上取得了比较好的性能表现,准确率达到了83.27%。同时,精确率、召回率和F1值也均较高,说明分类器对各个类别的分类能力比较均衡。
阅读全文