文本相似度用python实现

文本相似度是指两个或多个文本之间的相似程度。Python中有多种实现文本相似度的方法，其中比较常用的是基于词向量的方法和基于字符串比较的方法。

基于词向量的方法包括：

1. 使用词袋模型和余弦相似度计算文本相似度；
2. 使用TF-IDF模型和余弦相似度计算文本相似度；
3. 使用Word2Vec模型和余弦相似度计算文本相似度。

基于字符串比较的方法包括：

1. 汉明距离；
2. Levenshtein距离；
3. Jaccard系数；
4. Dice系数。

这里以使用TF-IDF模型和余弦相似度计算文本相似度为例进行介绍。具体步骤如下：

1. 对需要比较的文本进行分词和去除停用词处理；
2. 使用TF-IDF模型对分词后的文本进行向量化表示；
3. 计算两个文本向量之间的余弦相似度，得到文本相似度。

下面是Python代码示例：

import jieba
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 分词和去除停用词
def seg_and_stopwords(text):
    seg_list = jieba.cut(text)
    stopwords = [line.strip() for line in open('stopwords.txt', encoding='UTF-8').readlines()]
    seg_list = [word for word in seg_list if word not in stopwords]
    return ' '.join(seg_list)

# 计算文本相似度
def text_similarity(text1, text2):
    # 分词和去除停用词
    text1_seg = seg_and_stopwords(text1)
    text2_seg = seg_and_stopwords(text2)
    
    # TF-IDF向量化
    corpus = [text1_seg, text2_seg]
    vectorizer = TfidfVectorizer()
    tfidf = vectorizer.fit_transform(corpus)
    
    # 计算余弦相似度
    similarity = cosine_similarity(tfidf)[1]
    
    return similarity