python爬虫多级页面案例

当然，我可以为您提供一个简单的多级页面爬虫案例。以下是一个使用Python的爬虫代码示例，用于爬取一个多级页面的数据：

import requests
from bs4 import BeautifulSoup

# 定义爬取函数
def crawl(url):
    # 发送HTTP GET请求
    response = requests.get(url)
    # 解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取需要的数据
    data = soup.find('div', {'class': 'content'}).text
    
    # 打印数据
    print(data)
    
    # 查找下一页链接
    next_link = soup.find('a', {'class': 'next-link'})
    
    # 如果存在下一页链接，则递归调用crawl函数爬取下一页
    if next_link:
        next_url = next_link['href']
        crawl(next_url)

# 起始URL
start_url = 'http://example.com/page1'

# 调用爬取函数
crawl(start_url)

请注意，这只是一个简单的示例，实际上，您可能需要根据实际情况进行适当的修改和优化。

这个案例中的爬虫使用了`requests`库发送HTTP请求，并使用`BeautifulSoup`库解析HTML内容。它首先访问起始URL，并提取需要的数据。然后，它查找下一页链接，并递归调用自身来爬取下一页的数据。这个过程会一直重复，直到没有下一页为止。

请注意，在实际使用中，您需要根据网站的具体结构和需要爬取的数据进行相应的定制和调整。此外，还要遵守网站的爬取规则和道德准则，确保合法合规的爬取行为。