用python写文本相似度算法

在Python中，编写文本相似度算法通常涉及计算两个字符串或文本段落之间的相似程度。常用的几种方法有：

1. **余弦相似度（Cosine Similarity）**: 这是一种基于词袋模型的方法，首先将文本转换成向量表示，通过计算向量间的夹角来评估相似度。你可以使用`sklearn`库中的`TfidfVectorizer`或`CountVectorizer`配合`cosine_similarity`函数。

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 假设text1和text2是你要比较的两段文本
vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform([text1, text2])
similarity = cosine_similarity(tfidf_matrix[0:1], tfidf_matrix)[0][1]

2. **Jaccard相似度（Jaccard Index）**: 计算两个集合的交集除以并集的比例。可以使用`set`数据结构来实现。

def jaccard_similarity(text1, text2):
    set1 = set(text1.split())
    set2 = set(text2.split())
    intersection = set1.intersection(set2)
    return len(intersection) / (len(set1) + len(set2) - len(intersection))

similarity = jaccard_similarity(text1, text2)

3. **编辑距离（Levenshtein Distance）**: 也称为“最少操作数”，测量两个字符串之间由插入、删除或替换字符需要的最小次数。可以使用`py_stringmatching`等库来计算。

import Levenshtein as lev

distance = lev.distance(text1, text2)
similarity = 1 - distance / max(len(text1), len(text2))

4. **预训练模型（如BERT、RoBERTa）**: 对于更复杂的自然语言理解任务，可以利用深度学习的预训练模型，如`transformers`库中的`SentenceTransformers`模块。

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('distilbert-base-nli-mean-tokens')
embeddings = model.encode([text1, text2])
similarity = cosine_similarity(embeddings)[0][1]