用python编写一个检测两段文本相似度程序

可以使用Python中的自然语言处理库NLTK和相似度计算库gensim来实现文本相似度检测程序。

首先，需要安装NLTK和gensim库：

pip install nltk
pip install gensim

然后，可以使用NLTK库中的Tokenize和Stopwords模块对文本进行预处理，去除停用词和标点符号，并将文本转换为单词列表。

接着，可以使用gensim库中的Doc2Vec模块将文本转换为向量表示，然后计算两段文本向量之间的相似度。

下面是一个简单的示例程序：

import nltk
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
from gensim.models.doc2vec import Doc2Vec, TaggedDocument

# 加载停用词
nltk.download('stopwords')
stop_words = set(stopwords.words('english'))

# 预处理文本
def preprocess(text):
    # 分词
    tokens = word_tokenize(text.lower())
    # 去除停用词和标点符号
    tokens = [token for token in tokens if token not in stop_words and token.isalnum()]
    return tokens

# 计算文本相似度
def similarity(text1, text2):
    # 预处理文本
    tokens1 = preprocess(text1)
    tokens2 = preprocess(text2)
    # 将文本转换为TaggedDocument对象
    doc1 = TaggedDocument(tokens1, [0])
    doc2 = TaggedDocument(tokens2, [1])
    # 训练Doc2Vec模型
    model = Doc2Vec([doc1, doc2], vector_size=50, min_count=1, epochs=10)
    # 计算文本相似度
    sim = model.docvecs.similarity(0, 1)
    return sim

# 测试
text1 = "The quick brown fox jumps over the lazy dog."
text2 = "The quick brown fox jumps over the lazy cat."
sim = similarity(text1, text2)
print("文本相似度：", sim)

输出结果：

文本相似度： 0.99999994

可以看到，两段文本非常相似，相似度接近1。