4.两篇文章的相似性 课题内容和要求 对于两篇文章，用哈希表的方法分别统计两个文章语言关键字的情况，并 最终按定量的计算结果，得出两份文本的相似性。 基本要求:建立关键字的哈希表，统计在每个文本中关键字出现的频度 得到两个向量X1和X2，通过计算向量X1和X2的相对距离来判断两篇文章的相似性。 每个词都可以表示为一个唯一的token，以token来向量化，例如下面两个文档，每个词用一个id表示，其值用其频度表示。 例如: Text，mining，is，a，powerful，technology,for，quickly,distilling，information 文章1关键字频度4304307002 文章2关键字频度4205405201 X1=[432 X2=[4 设s是向量X1和X2的相对距离，s=sgrt(∑(xi1-xi2)2)，当X1=X2时，s= 0,反映出可能是表达同一意思的文章:s值越大，则两篇文章的差别可能也越 大。 测试数据:选择若干组文章，文章之间有相近的和差别大的，用上述方法 求s，对比两篇文章的相似性。 提高要求:采用余弦相似性来判断两个文章的相似性。

哈希表方法是一种简单有效的计算文本相似度的方法。具体实现步骤如下：

1. 将两篇文章分别进行分词，得到每篇文章的单词列表。

2. 对于每个单词，使用哈希表记录其出现次数。

3. 对于每篇文章，将其单词列表转换成一个向量，向量的每个维度对应一个单词在哈希表中的出现次数。

4. 利用向量间的余弦相似度或欧氏距离来计算两篇文章相似度。

下面是实现代码的示例：

import math

def word_count(text):
    # 统计文本中每个单词的出现次数
    counts = {}
    for word in text.split():
        if word not in counts:
            counts[word] = 0
        counts[word] += 1
    return counts

def vectorize(text, vocab):
    # 将文本转换成向量
    vector = [0] * len(vocab)
    for word, count in word_count(text).items():
        if word in vocab:
            vector[vocab[word]] = count
    return vector

def cosine_similarity(vec1, vec2):
    # 计算向量的余弦相似度
    dot_product = sum(x * y for x, y in zip(vec1, vec2))
    magnitude = math.sqrt(sum(x**2 for x in vec1)) * math.sqrt(sum(x**2 for x in vec2))
    if magnitude == 0:
        return 0
    return dot_product / magnitude

def euclidean_distance(vec1, vec2):
    # 计算向量的欧氏距离
    return math.sqrt(sum((x - y)**2 for x, y in zip(vec1, vec2)))

def text_similarity(text1, text2):
    # 计算文本相似度
    vocab = {}
    for word_count in (word_count(text1), word_count(text2)):
        for word in word_count:
            if word not in vocab:
                vocab[word] = len(vocab)
    vec1 = vectorize(text1, vocab)
    vec2 = vectorize(text2, vocab)
    return cosine_similarity(vec1, vec2)

对于测试数据，可以选择一些主题相似但表达方式不同的文章进行测试，比如两篇新闻报道、两篇论文摘要等。将这些文章进行分词和向量化后，可以使用余弦相似度或欧氏距离计算它们之间的相似度。