python爬虫翻页爬取

您好！对于翻页爬取，您可以使用 Python 爬虫库（如 BeautifulSoup、Scrapy）来实现。下面是一个简单的示例代码，以 BeautifulSoup 库为例：

import requests
from bs4 import BeautifulSoup

# 发送 HTTP 请求获取页面内容
url = 'http://example.com/page1'  # 第一页的 URL
response = requests.get(url)
content = response.text

# 解析页面内容
soup = BeautifulSoup(content, 'html.parser')
# 提取所需数据...

# 翻页爬取
for i in range(2, 6):  # 假设总共有 5 页
    # 构造下一页的 URL
    next_url = f'http://example.com/page{i}'  
    # 发送 HTTP 请求获取下一页内容
    response = requests.get(next_url)
    content = response.text
    
    # 解析下一页内容
    soup = BeautifulSoup(content, 'html.parser')
    # 提取所需数据...

# 处理所有爬取到的数据...

在示例代码中，我们首先发送 HTTP 请求获取第一页的内容，然后使用 BeautifulSoup 解析页面内容并提取所需数据。接着，我们通过循环构造下一页的 URL，发送 HTTP 请求获取下一页的内容，并重复解析和提取数据的步骤。最后，可以对所有爬取到的数据进行处理。

请注意，实际情况中可能需要处理反爬机制、处理页面加载动态内容等问题，具体实现会根据目标网站的特点而有所不同。另外，爬取网站时请务必遵守相关法律法规和网站的使用规则，避免对目标网站造成不必要的困扰。