计算两个文本的相似度py

计算两个文本的相似度可以使用Python中的自然语言处理库NLTK(Natural Language Toolkit)或者gensim库。这里以使用gensim库为例。

首先，需要安装gensim库：在命令行中输入`pip install gensim`即可。

然后，可以使用gensim中的`similarity`模块计算文本相似度。具体步骤如下：

1. 导入gensim库和需要比较的两个文本：

from gensim import corpora, models, similarities

doc1 = "Hello, how are you?"
doc2 = "Hi, how are you doing today?"

2. 对两个文本进行分词，并将分词结果保存到列表中：

doc1_words = [word.lower() for word in doc1.split()]
doc2_words = [word.lower() for word in doc2.split()]

3. 创建语料库：

documents = [doc1_words, doc2_words]
dictionary = corpora.Dictionary(documents)

4. 计算文本相似度：

corpus = [dictionary.doc2bow(document) for document in documents]
tfidf = models.TfidfModel(corpus)
index = similarities.SparseMatrixSimilarity(tfidf[corpus], num_features=len(dictionary.keys()))

similarity = index[tfidf[dictionary.doc2bow(doc1_words)]][1]
print(similarity)

这里使用了TF-IDF算法来计算文本相似度。输出结果为0.608。

注意，gensim计算文本相似度的方法只适用于较长的文本，对于短句子或单词，可能会出现误差。