python分页爬虫

您好！对于Python分页爬虫，您可以使用requests库和BeautifulSoup库来实现。以下是一个简单的示例代码：

import requests
from bs4 import BeautifulSoup

def get_data(url):
    # 发起HTTP请求
    response = requests.get(url)
    # 解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    # 提取数据
    data = soup.find_all('div', class_='item')
    # 处理数据
    for item in data:
        # 进行相应的操作，例如保存到数据库或文件中
        print(item.text)

# 分页爬取数据
def paginate_crawler(base_url, total_pages):
    for page in range(1, total_pages + 1):
        url = base_url + str(page)
        get_data(url)

# 示例网站URL和总页数
base_url = 'http://example.com/page='
total_pages = 10

# 调用分页爬虫函数
paginate_crawler(base_url, total_pages)

请注意，这只是一个基本的示例，您可能需要根据具体的网站和页面结构进行相应的调整。同时，也要注意遵守网站的爬虫规则和法律法规。