python抓取网站的地图信息

要抓取网站地图信息，可以使用 Python 中的 requests 库和 BeautifulSoup 库。

首先，使用 requests 库获取网站的地图页面：

import requests

url = 'http://www.example.com/sitemap.xml'
response = requests.get(url)

然后，使用 BeautifulSoup 库解析 XML 页面内容：

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'xml')

接下来，可以使用 BeautifulSoup 库提供的方法来获取地图信息。例如，要获取地图中所有 URL 的列表，可以使用以下代码：

urls = []
for loc in soup.find_all('loc'):
    urls.append(loc.text)

这将遍历地图中的所有 'loc' 标签，并将其文本内容添加到列表中。

类似地，可以使用 BeautifulSoup 库获取其他地图信息，如 lastmod、changefreq 等。