博客搭建及安全基础漏洞项目使用【python】写【文本相似度分析】的代码

在Python中编写文本相似度分析的代码通常涉及到自然语言处理（NLP）库，如NLTK（Natural Language Toolkit）或Gensim。这里我们以Gensim为例，因为它提供了方便的API来计算文档之间的相似度：

首先，确保已安装`gensim`和相关的分词器（如`jieba`用于中文处理）：

pip install gensim jieba

然后，我们可以创建一个简单的文本相似度分析函数：

from gensim import corpora, models
from sklearn.feature_extraction.text import TfidfVectorizer
from nltk.corpus import stopwords
import jieba

# 函数定义
def text_similarity(text1, text2):
    # 分词处理
    stop_words = set(stopwords.words('chinese')) if text1 and text2 else None
    words1 = [word for word in jieba.cut(text1, cut_all=False) if word not in stop_words]
    words2 = [word for word in jieba.cut(text2, cut_all=False) if word not in stop_words]

    # 创建词袋模型
    dictionary = corpora.Dictionary([words1, words2])
    corpus = [dictionary.doc2bow(words) for words in [words1, words2]]

    # 训练TF-IDF模型
    tfidf = models.TfidfModel(corpus)

    # 计算两个文档的相似度
    similarity_score = models.MatrixSimilarity(tfidf[corpus]).similarity(tfidf[corpus[0]], tfidf[corpus[1]])
    
    return similarity_score

# 示例用法
text1 = "这是文本一"
text2 = "这是文本二"
score = text_similarity(text1, text2)
print(f"文本相似度得分: {score}")

这个代码片段展示了如何通过TF-IDF方法计算两个文本的相似度。请注意，实际应用可能需要调整参数和预处理步骤以获得更好的效果。