python爬虫翻页_python爬虫翻页方式（一）修改请求url

在Python爬虫中，翻页的方式有很多种，其中一种方式是修改请求URL。具体实现方式如下：

1.首先确定需要翻页的目标网站，并找到翻页的规律，通常是在URL中包含一个页码参数。

2.在代码中定义一个变量，用于存储页码数，例如当前页码为1，则可以设置page=1。

3.构造请求URL时，将页码参数与页码数拼接在一起，例如：url = 'http://www.example.com/page=' + str(page)。

4.发送请求，并解析页面数据。

5.将页码数加1，重复以上步骤，直到翻完所有页。

下面是一个示例代码，用于爬取某网站的前3页数据：

import requests
from bs4 import BeautifulSoup

url = 'http://www.example.com/page='
for page in range(1, 4):
    full_url = url + str(page)
    response = requests.get(full_url)
    soup = BeautifulSoup(response.text, 'html.parser')
    # 解析页面数据

需要注意的是，在实际情况中可能会遇到反爬机制，需要进行相应的处理，例如添加headers、使用代理等。