用python判断文本相似度

在Python中，有多种方法可以计算文本之间的相似度。以下是几种常用的方法：

1. **基于余弦相似度**：
使用`sklearn.feature_extraction.text.TfidfVectorizer`将文本转换成向量，然后通过`cosine_similarity`函数测量它们的相似度。例如：

   from sklearn.feature_extraction.text import TfidfVectorizer
   from sklearn.metrics.pairwise import cosine_similarity

   vectorizer = TfidfVectorizer()
   text1 = "这是一个句子"
   text2 = "这是另一个句子"
   vectors = vectorizer.fit_transform([text1, text2])
   similarity = cosine_similarity(vectors)[0][1]

2. **Jaccard相似系数**：
可以使用set操作来计算两个集合（代表文本的词集）的交集大小，除以并集大小。这适合短文本和词语计数分析：

   def jaccard(text1, text2):
       set1 = set(text1.split())
       set2 = set(text2.split())
       return len(set1 & set2) / len(set1 | set2)

3. **编辑距离（Levenshtein Distance）**：
如果需要考虑字符级别的差异，可以使用`editdistance`库计算两个字符串的最小编辑距离。编辑距离越小，相似度越高：

   from editdistance import levenshtein_distance
   distance = levenshtein_distance(text1, text2)
   similarity = 1 - (distance / max(len(text1), len(text2)))

4. **预训练模型**：
对于更复杂的文本理解任务，可以使用预训练的语言模型如BERT、RoBERTa等，通过比较它们编码后的向量表示来计算相似度，如Hugging Face的transformers库。