利用Rocchio算法实现测试文档分类。完成tf_idf的数值计算、词项权重存储、权重归一以及质心向量；

好的，我来为您介绍一下Rocchio算法的实现过程。

Rocchio算法是一种基于质心的文本分类算法，其步骤如下：

1. 计算每个文档的tf-idf权重。
2. 将每个文档的tf-idf权重存储为向量形式。
3. 对于每个类别，计算其所有训练文档的tf-idf向量的平均值，得到该类别的质心向量。
4. 对于待分类的测试文档，计算其tf-idf向量。
5. 将测试文档的tf-idf向量与每个类别的质心向量进行比较，选择与之最相似的类别作为测试文档所属的类别。

下面我们逐步实现这些步骤。

1. 计算每个文档的tf-idf权重

我们可以利用sklearn库中的TfidfVectorizer函数来计算每个文档的tf-idf权重，代码如下：

from sklearn.feature_extraction.text import TfidfVectorizer

# 训练集和测试集的文档列表
train_documents = ['This is the first document', 'This is the second second document', 'And the third one', 'Is this the first document']
test_document = 'This is the first test document'

# 计算tf-idf权重
vectorizer = TfidfVectorizer()
train_tfidf = vectorizer.fit_transform(train_documents)
test_tfidf = vectorizer.transform([test_document])

2. 将每个文档的tf-idf权重存储为向量形式

我们可以将每个文档的tf-idf权重存储为一个稀疏向量，其中每个维度对应于一个词项，该维度的值表示该词项在该文档中的tf-idf权重。代码如下：

# 将tf-idf权重存储为向量形式
train_vectors = train_tfidf.toarray()
test_vector = test_tfidf.toarray()[0]

3. 对于每个类别，计算其所有训练文档的tf-idf向量的平均值，得到该类别的质心向量

我们可以先将训练集文档按类别分组，然后对于每个类别，计算其所有训练文档的tf-idf向量的平均值，得到该类别的质心向量。代码如下：

import numpy as np

# 训练集和测试集的标签列表
train_labels = ['class1', 'class1', 'class2', 'class2']
test_label = None

# 按类别分组
class_indices = {}
for i, label in enumerate(train_labels):
    if label not in class_indices:
        class_indices[label] = []
    class_indices[label].append(i)

# 计算每个类别的质心向量
class_centroids = {}
for label, indices in class_indices.items():
    vectors = [train_vectors[i] for i in indices]
    centroid = np.mean(vectors, axis=0)
    class_centroids[label] = centroid

4. 对于待分类的测试文档，计算其tf-idf向量

我们可以利用TfidfVectorizer函数计算测试文档的tf-idf向量，代码如下：

# 计算测试文档的tf-idf向量
test_tfidf = vectorizer.transform([test_document])
test_vector = test_tfidf.toarray()[0]

5. 将测试文档的tf-idf向量与每个类别的质心向量进行比较，选择与之最相似的类别作为测试文档所属的类别

我们可以计算测试文档的tf-idf向量与每个类别的质心向量的余弦相似度，选择余弦相似度最大的类别作为测试文档所属的类别，代码如下：

# 计算测试文档与每个类别的质心向量的余弦相似度
cosine_similarities = {}
for label, centroid in class_centroids.items():
    cosine_similarities[label] = np.dot(test_vector, centroid) / (np.linalg.norm(test_vector) * np.linalg.norm(centroid))

# 选择余弦相似度最大的类别作为测试文档所属的类别
test_label = max(cosine_similarities, key=cosine_similarities.get)

这样，我们就完成了Rocchio算法的实现。完整代码如下：

from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np

# 训练集和测试集的文档列表
train_documents = ['This is the first document', 'This is the second second document', 'And the third one', 'Is this the first document']
test_document = 'This is the first test document'

# 训练集和测试集的标签列表
train_labels = ['class1', 'class1', 'class2', 'class2']
test_label = None

# 计算tf-idf权重
vectorizer = TfidfVectorizer()
train_tfidf = vectorizer.fit_transform(train_documents)
test_tfidf = vectorizer.transform([test_document])

# 将tf-idf权重存储为向量形式
train_vectors = train_tfidf.toarray()
test_vector = test_tfidf.toarray()[0]

# 按类别分组
class_indices = {}
for i, label in enumerate(train_labels):
    if label not in class_indices:
        class_indices[label] = []
    class_indices[label].append(i)

# 计算每个类别的质心向量
class_centroids = {}
for label, indices in class_indices.items():
    vectors = [train_vectors[i] for i in indices]
    centroid = np.mean(vectors, axis=0)
    class_centroids[label] = centroid

# 计算测试文档的tf-idf向量
test_tfidf = vectorizer.transform([test_document])
test_vector = test_tfidf.toarray()[0]

# 计算测试文档与每个类别的质心向量的余弦相似度
cosine_similarities = {}
for label, centroid in class_centroids.items():
    cosine_similarities[label] = np.dot(test_vector, centroid) / (np.linalg.norm(test_vector) * np.linalg.norm(centroid))

# 选择余弦相似度最大的类别作为测试文档所属的类别
test_label = max(cosine_similarities, key=cosine_similarities.get)

print('Test document belongs to class:', test_label)