python 网页相似度

要计算两个网页的相似度，可以使用Python中的BeautifulSoup库和difflib库。

首先，使用BeautifulSoup库将两个网页的HTML内容解析成BeautifulSoup对象。然后，使用difflib库中的SequenceMatcher类计算两个HTML内容的相似度得分。

以下是一个示例代码，可以计算两个网页的相似度得分：

from bs4 import BeautifulSoup
from difflib import SequenceMatcher
import requests

# 获取两个网页的HTML内容
url1 = 'http://www.example.com/page1.html'
url2 = 'http://www.example.com/page2.html'
html1 = requests.get(url1).content
html2 = requests.get(url2).content

# 将HTML内容解析成BeautifulSoup对象
soup1 = BeautifulSoup(html1, 'html.parser')
soup2 = BeautifulSoup(html2, 'html.parser')

# 计算相似度得分
s1 = str(soup1)
s2 = str(soup2)
similarity = SequenceMatcher(None, s1, s2).ratio()

print('相似度得分：', similarity)

需要注意的是，这种方法只考虑了两个网页的HTML内容，对于网页中的图片、视频等内容是没有考虑的。如果需要考虑这些内容，可以使用更复杂的方法。