利用Python实现话题测试,要求1. 数据预测处理:利用jieba分词对每篇文档进行分词;利用TF-ID对F每篇文档提取关键特征词;利用特征征词的 TF-IDF 值得作为文档的特征向量。 2. 对预期处理后的文档(每篇取文档用特殊征向量表示),从每类中随机选取40篇文档,共得到40×5=200篇文档。 3.对提的20 0篇文档,采用K-means算法,划分5个码,每个码代表一个类4.画出聚合类结果散点图,同时计算FMI指数
时间: 2023-08-24 09:05:08 浏览: 94
好的,首先需要准备一些数据和库:
1. 中文停用词表,可以从网上下载或自己整理。
2. 中文语料库,可以是多个文本文件。
3. jieba库,用于分词。
4. sklearn库,用于TF-IDF和K-means算法。
5. numpy和matplotlib库,用于画图和计算FMI指数。
下面是代码实现过程:
```python
import jieba
import os
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans
import numpy as np
import matplotlib.pyplot as plt
# 读取停用词表
stopwords = set()
with open('stopwords.txt', 'r', encoding='utf-8') as f:
for line in f.readlines():
stopwords.add(line.strip())
# 读取语料库
corpus = []
labels = []
for i, folder in enumerate(os.listdir('corpus')):
for file in os.listdir('corpus/'+folder):
with open('corpus/'+folder+'/'+file, 'r', encoding='utf-8') as f:
content = f.read()
words = [word for word in jieba.cut(content) if word not in stopwords]
corpus.append(' '.join(words))
labels.append(i)
# 计算TF-IDF值
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(corpus)
# 选取40篇文档
indices = np.random.choice(range(len(corpus)), size=200, replace=False)
X_selected = X[indices]
labels_selected = [labels[i] for i in indices]
# K-means聚类
kmeans = KMeans(n_clusters=5)
kmeans.fit(X_selected)
pred_labels = kmeans.predict(X_selected)
# 画散点图
plt.scatter(X_selected[:, 0], X_selected[:, 1], c=pred_labels)
plt.show()
# 计算FMI指数
from sklearn.metrics import fowlkes_mallows_score
print('FMI:', fowlkes_mallows_score(labels_selected, pred_labels))
```
其中,`corpus`文件夹下存放语料库,每个子文件夹代表一个类别,文件夹中存放多个文本文件。
运行后会得到一个散点图,每个点代表一篇文档,颜色代表其所属的聚类簇。
最后输出FMI指数。
阅读全文