数据集放在“code/”的五个文件夹里，文件夹名称分别是a,b,c,d,e 每个文件夹里有50个文档，本实验数据集是新闻文本数据，包括五个类别“财经新闻”、“体育新闻”、“教育新闻”、“军事新闻”和“娱乐新闻”每个类别均包括50篇文档。 话题检测 1. 数据预处理：利用Jieba分词对每篇文档进行分词；利用TF-ID对F每篇文档提取关键特征词；利用特征词的TF-IDF值作为文档的特征向量。 2. 对预处理后的文档（每篇文档用特征向量表示），从每个类别中随机选取40篇文档，共得到40×5=200篇文档。 3. 对提取的200篇文档，采用K-means算法，划分5个簇，每个簇代表一个类别 4. 画出聚类结果散点图，同时计算FMI指数 话题跟踪 1. 每个类别剩余10篇文档，用于话题跟踪实验 2. 每篇文档与5个簇中心向量（均值向量）计算它们之间的欧氏距离 3. 将文档划分到距离最近的簇中 4. 计算每个簇分类的，查准率、查全率和F1指数python具体代码实现

以下是Python代码实现，前提需要安装Jieba和sklearn库：

import os
import jieba
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans
from sklearn.metrics import fowlkes_mallows_score

# 定义语料库路径
corpus_path = 'code/'

# 定义停用词路径
stopwords_path = 'stopwords.txt'

# 定义分词函数
def tokenize(text):
    words = []
    for word in jieba.cut(text):
        if word.strip() and word not in stopwords:
            words.append(word)
    return words

# 定义提取特征函数
def extract_features(corpus):
    vectorizer = TfidfVectorizer(tokenizer=tokenize)
    features = vectorizer.fit_transform(corpus)
    return features

# 定义读取语料库函数
def read_corpus(path):
    corpus = []
    for file in os.listdir(path):
        file_path = os.path.join(path, file)
        with open(file_path, 'r', encoding='utf-8') as f:
            text = f.read()
            corpus.append(text)
    return corpus

# 读取停用词
with open(stopwords_path, 'r', encoding='utf-8') as f:
    stopwords = f.read().splitlines()

# 读取语料库
corpus = read_corpus(corpus_path)

# 提取特征
features = extract_features(corpus)

# K-means聚类
kmeans = KMeans(n_clusters=5, random_state=0).fit(features)
labels = kmeans.labels_

# 计算FMI指数
fmi = fowlkes_mallows_score(labels[:200], labels[200:])
print('FMI指数：', fmi)

# 画散点图
import matplotlib.pyplot as plt

plt.scatter(features[:200, 0].toarray(), features[:200, 1].toarray(), c=labels[:200])
plt.show()

# 话题跟踪
clusters = kmeans.cluster_centers_

# 读取剩余文档
remaining_docs = read_corpus(corpus_path)
remaining_docs = remaining_docs[200:]

# 分类剩余文档
for doc in remaining_docs:
    doc_feature = extract_features([doc])
    distances = []
    for cluster in clusters:
        distance = ((doc_feature - cluster) ** 2).sum()
        distances.append(distance)
    category = distances.index(min(distances))
    print('文档分类为：', category)

代码解释：

1. 定义语料库路径和停用词路径。
2. 定义分词函数，用于对每篇文档进行分词并去除停用词。
3. 定义提取特征函数，采用TF-IDF算法提取每篇文档的关键特征词，并将TF-IDF值作为文档的特征向量。
4. 定义读取语料库函数，用于读取语料库中的所有文档。
5. 读取停用词。
6. 读取语料库。
7. 提取特征。
8. 运用K-means算法对提取的200篇文档进行聚类，划分为5个簇。
9. 计算FMI指数。
10. 画出聚类结果散点图。
11. 读取剩余文档。
12. 分类剩余文档，计算每个文档与5个簇中心向量之间的欧氏距离，将文档划分到距离最近的簇中。