文本相似度python

文本相似度是指通过计算两个文本之间的相似程度来衡量它们之间的语义相关性。在Python中，有多种方法可以实现文本相似度的计算。以下是一些常用的方法和工具：

1. 余弦相似度：通过计算两个向量之间的夹角余弦值来衡量它们的相似度。可以使用Python中的numpy库来计算向量的点积和模长。

2. Jaccard相似度：通过计算两个集合的交集与并集之间的比例来衡量它们的相似度。可以使用Python中的set类型来表示集合，并使用交集和并集操作来计算相似度。

3. 编辑距离：通过计算将一个字符串转换为另一个字符串所需的最小编辑操作次数来衡量它们的相似度。可以使用Python中的编辑距离算法库（如python-Levenshtein）来计算编辑距离。

4. 词向量模型：通过将文本表示为向量空间中的向量，并计算向量之间的距离来衡量文本之间的相似度。常用的词向量模型包括Word2Vec和GloVe。可以使用Python中的gensim库或者spaCy库来训练和使用词向量模型。

5. 文本匹配算法：通过比较两个文本之间的相似度得分来衡量它们的相似度。常用的文本匹配算法包括TF-IDF、BM25和BERT等。可以使用Python中的scikit-learn库或者transformers库来实现这些算法。

以上是一些常用的文本相似度计算方法和工具，你可以根据具体的需求选择适合的方法来计算文本相似度。

相关问题

欧式距离计算文本相似度python代码

欧式距离是一种常用的文本相似度计算方法，可以用于比较两个文本之间的相似程度。下面是一个简单的Python代码示例，可以用来计算两个字符串之间的欧式距离。

import math

def euclidean_distance(text1, text2):
    # 将文本转换为向量
    vector1 = text_to_vector(text1)
    vector2 = text_to_vector(text2)

    # 计算欧式距离
    distance = 0.0
    for key in vector1:
        if key in vector2:
            distance += (vector1[key] - vector2[key]) ** 2
        else:
            distance += vector1[key] ** 2
    for key in vector2:
        if key not in vector1:
            distance += vector2[key] ** 2

    return math.sqrt(distance)

def text_to_vector(text):
    words = text.split()
    vector = {}
    for word in words:
        if word in vector:
            vector[word] += 1
        else:
            vector[word] = 1
    return vector

# 测试
text1 = "This is a sample sentence."
text2 = "This is another example sentence."
distance = euclidean_distance(text1, text2)
print(distance)

该代码首先将文本转换为向量，然后使用欧式距离公式计算两个向量之间的距离。在这个示例中，我们使用空格将文本分成单词，并计算每个单词在文本中出现的次数作为向量的值。你可以根据需要对代码进行修改，以适应你的具体应用场景。

信息检索 文本相似度 python_使用TF-IDF算法计算网站页面相似度分布（Python）

TF-IDF算法是一种常用的文本相似度计算方法，可以用于计算网站页面的相似度分布。下面是一个使用Python实现TF-IDF算法计算网站页面相似度分布的示例代码：

import requests
from bs4 import BeautifulSoup
import re
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer

# 获取网页内容
def get_page_content(url):
    try:
        response = requests.get(url)
        html = response.text
        return html
    except:
        return ""

# 解析网页内容并提取文本
def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    for script in soup(["script", "style"]):
        script.extract()  
    text = soup.get_text()
    lines = (line.strip() for line in text.splitlines())
    chunks = (phrase.strip() for line in lines for phrase in line.split("  "))
    text = '\n'.join(chunk for chunk in chunks if chunk)
    return text

# 计算相似度矩阵
def calculate_similarity_matrix(content_list):
    vectorizer = TfidfVectorizer(min_df=1, stop_words="english")
    tfidf = vectorizer.fit_transform(content_list)
    similarity_matrix = (tfidf * tfidf.T).toarray()
    return similarity_matrix

# 打印相似度分布
def print_similarity_distribution(similarity_matrix):
    similarity_distribution = np.triu(similarity_matrix, k=1).flatten()
    similarity_distribution = similarity_distribution[similarity_distribution > 0]
    print("Mean similarity:", np.mean(similarity_distribution))
    print("Median similarity:", np.median(similarity_distribution))
    print("Max similarity:", np.max(similarity_distribution))
    print("Min similarity:", np.min(similarity_distribution))
    print("Standard deviation of similarity:", np.std(similarity_distribution))

# 示例代码
if __name__ == "__main__":
    urls = ["https://www.baidu.com/", "https://www.zhihu.com/", "https://www.google.com/"]
    content_list = []
    for url in urls:
        html = get_page_content(url)
        content = parse_html(html)
        content_list.append(content)
    similarity_matrix = calculate_similarity_matrix(content_list)
    print_similarity_distribution(similarity_matrix)

该示例代码获取了百度、知乎和谷歌三个网站的页面内容，并使用TF-IDF算法计算它们之间的相似度分布。可以根据需要修改示例代码中的网站列表，以计算其他网站之间的相似度分布。