NLP文本相似度分析python实现

NLP（Natural Language Processing）中的文本相似度分析是指通过计算两个文本之间的相似程度，通常用于信息检索、情感分析、问答系统等场景。Python中常用库如`NLTK`、`spaCy`、`gensim`以及`transformers`（例如BERT、DistilBERT等预训练模型）来实现文本相似度。

以下是基本步骤：

1. **数据预处理**：对文本进行分词、去除停用词、词干提取或词形还原等操作，将文本转化为数值表示形式，如TF-IDF、Word2Vec或BERT的嵌入向量。

2. **选择相似度算法**：
- **基于词汇表的方法**：如余弦相似度，通过比较词频向量的角度来衡量相似度。
- **基于概率的方法**：Latent Dirichlet Allocation (LDA) 或 Word Mover's Distance (WMD)，考虑了词语顺序和距离。
- **深度学习方法**：利用预训练模型的相似度函数，如BERT的[CLS]头输出的相似性分数。

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 示例
vectorizer = TfidfVectorizer()
texts = ['这是一段文本', '这是另一段类似的文本']
tfidf_matrix = vectorizer.fit_transform(texts)
similarity_score = cosine_similarity(tfidf_matrix)

print(f"文本相似度矩阵：\n{similarity_score}")