python爬虫如何实现翻页？

以下是使用Python爬虫实现翻页的方法[^2]：

1. 首先，确定要爬取的网页的URL模板，其中包含页码的占位符。例如，如果要爬取的网页URL为`http://example.com/page/1`，`http://example.com/page/2`，`http://example.com/page/3`，则URL模板为`http://example.com/page/{}`。

2. 使用循环结构（例如`for`循环或`while`循环）来遍历要爬取的页码范围。

3. 在循环中，使用字符串格式化将页码插入URL模板中，生成具体的网页URL。

4. 使用爬虫库（例如`requests`库）发送HTTP请求，获取网页的内容。

5. 解析网页内容，提取所需的数据。

6. 对于每一页的数据，可以进行进一步的处理（例如存储到数据库或文件中）。

7. 继续循环，直到爬取完所有的页码。

以下是一个示例代码，演示了如何使用Python爬虫实现翻页：

import requests

# 定义URL模板
url_template = 'http://example.com/page/{}'

# 定义要爬取的页码范围
start_page = 1
end_page = 3

# 循环遍历页码范围
for page in range(start_page, end_page + 1):
    # 生成具体的网页URL
    url = url_template.format(page)
    
    # 发送HTTP请求，获取网页内容
    response = requests.get(url)
    
    # 解析网页内容，提取所需的数据
    # TODO: 进行数据提取和处理的代码
    
    # 打印当前页码和网页URL
    print('Page:', page)
    print('URL:', url)
    print('---')

# 完成爬取
print('Finished crawling all pages.')