用python实现计算两段话之间的相似性

要计算两段话之间的相似性，可以使用自然语言处理库NLTK和文本相似度计算库gensim。

首先需要安装这两个库，可以使用以下命令：

pip install nltk gensim

然后，需要对两段话进行预处理，包括分词、去停用词、词干提取等。可以使用NLTK库进行这些操作，示例代码如下：

import nltk
from nltk.corpus import stopwords
from nltk.stem import SnowballStemmer

nltk.download('stopwords')
nltk.download('punkt')

def preprocess(text):
    # 分词
    words = nltk.word_tokenize(text.lower())
    # 去除停用词
    words = [word for word in words if word not in stopwords.words('english')]
    # 词干提取
    stemmer = SnowballStemmer('english')
    words = [stemmer.stem(word) for word in words]
    return words

接下来，可以使用gensim库中的余弦相似度计算两段话之间的相似度。示例代码如下：

from gensim import corpora, models, similarities

def calculate_similarity(text1, text2):
    # 预处理两段话
    words1 = preprocess(text1)
    words2 = preprocess(text2)
    # 构建词典
    dictionary = corpora.Dictionary([words1, words2])
    # 构建文本向量
    corpus = [dictionary.doc2bow(words) for words in [words1, words2]]
    # 计算TF-IDF
    tfidf = models.TfidfModel(corpus)
    # 构建相似度矩阵
    index = similarities.MatrixSimilarity(tfidf[corpus])
    # 计算相似度
    sim = index[tfidf[corpus[0]]][1]
    return sim

以上代码中，首先使用gensim库中的corpora.Dictionary构建词典，再使用doc2bow方法将文本转换为文本向量。然后，使用models.TfidfModel计算TF-IDF权重，并使用similarities.MatrixSimilarity构建相似度矩阵，最后使用相似度矩阵计算两段话之间的相似度。

使用示例如下：

text1 = 'Python is a popular programming language.'
text2 = 'Java is also a widely used language for programming.'

similarity = calculate_similarity(text1, text2)
print('Similarity between the two texts:', similarity)

输出结果为：

Similarity between the two texts: 0.26726124

可以看到，两段话之间的相似度为0.26726124。