如何用Python编写一个简单的文本相似度分析算法（如余弦相似度或accard相似度）？

在Python中，我们可以使用scikit-learn库来编写一个简单的文本相似度分析算法，这里我们以余弦相似度为例，它是一种常用的衡量两个非零向量之间角度的度量，对于文本数据，可以理解为计算两个文档主题方向的相似度。

以下是使用TfidfVectorizer进行词袋模型转换，然后计算余弦相似度的一个简单步骤：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 假设我们有两个文档
doc1 = "这是一个关于机器学习的例子"
doc2 = "另一个关于人工智能的示例"

# 创建向量化器并转换文本为tf-idf特征矩阵
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform([doc1, doc2])

# 计算余弦相似度
similarity_matrix = cosine_similarity(X)

# 获取第一个文档与第二个文档的相似度
similarity_score = similarity_matrix[0][1]

print("文档1和文档2的余弦相似度:", similarity_score)

对于Accordian相似度（也称为Jaccard相似度），它是通过计算两个集合交集大小除以并集大小来评估相似性的。在文本中，这通常用于词汇层面的匹配，而不是考虑单词顺序或频率。实现类似这样：

def jaccard_similarity(doc1, doc2):
    set1 = set(vectorizer.get_feature_names_out().tolist())
    set2 = set(vectorizer.transform([doc2]).toarray().ravel())

    intersection = set1.intersection(set2)
    union = set1.union(set2)

    return len(intersection) / len(union)

similarity_score = jaccard_similarity(doc1, doc2)
print("文档1和文档2的Jaccard相似度:", similarity_score)