如何用Python编写文本相似度分析的代码实现？

在Python中，我们可以使用各种库来计算文本之间的相似度，其中最常用的是自然语言处理（NLP）库，如`NLTK`、`spaCy`、`gensim`或`scikit-learn`中的`CountVectorizer`和`TfidfVectorizer`。这里我们以`TF-IDF`（词频-逆文档频率）为例，它是一种常用的文本特征表示方法，常用于信息检索和文本相似度计算。

首先，确保已经安装了所需的库：

pip install nltk spacy scikit-learn

然后，导入必要的模块并进行预处理：

import nltk
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 下载nltk数据（如果尚未下载）
nltk.download('punkt')

# 文本预处理
def preprocess(text):
    # 分词
    words = nltk.word_tokenize(text.lower())
    # 去除停用词
    stop_words = nltk.corpus.stopwords.words('english')
    filtered_words = [word for word in words if word not in stop_words]
    return ' '.join(filtered_words)

# 计算相似度
def text_similarity(text1, text2):
    preprocessed_text1 = preprocess(text1)
    preprocessed_text2 = preprocess(text2)
    
    vectorizer = TfidfVectorizer()
    tfidf_matrix = vectorizer.fit_transform([preprocessed_text1, preprocessed_text2])
    
    similarity_score = cosine_similarity(tfidf_matrix[0:1], tfidf_matrix)[0][1]
    return similarity_score

# 使用示例
text1 = "This is a sample sentence."
text2 = "A similar text about samples."

similarity = text_similarity(text1, text2)
print(f"The similarity between the two texts is: {similarity}")

在这个例子中，`cosine_similarity`被用来计算两个文本的余弦距离，其值范围在0到1之间，越接近1表示相似度越高。