如何利用python进行翻页

在Python中，利用翻页功能通常是在处理网页抓取或者API请求时，当你需要获取分页内容时。这里以爬虫为例，我们可以使用像BeautifulSoup、Scrapy这样的库来处理HTML页面，或者requests库配合JSON API来访问数据。以下是一个基本步骤：

1. **BeautifulSoup 示例** (针对静态HTML网站):
- 首先，使用`requests.get()`获取初始页面的内容。
- 使用 BeautifulSoup 分析 HTML 结构，找到翻页链接的规律，如`class`属性或`href`值中的页码部分。
- 编写循环，每次迭代递增页数，然后再次发送请求，直到达到目标页数。

import requests
from bs4 import BeautifulSoup

base_url = 'http://example.com/page='
page = 1
while True:
    response = requests.get(base_url + str(page))
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 查找并解析翻页链接
    next_page_link = soup.find('a', {'rel': 'next'})
    if not next_page_link or 'disabled' in next_page_link.attrs.get('class', []):
        break
    
    page += 1

2. **API 示例** (针对RESTful API):
- 对于基于API的翻页，通常会有一个`limit`参数用于获取每页的数据量，并返回一个`next` URL 或 `cursor` 这样的指针，可以用来获取下一页。
- 你可以设置一个`start`参数来追踪当前的位置，每次递增获取更多的数据。

import requests

url_base = 'https://api.example.com/data?limit=10'
start = 0

while True:
    params = {'start': start}
    response = requests.get(url_base, params=params)
    
    data = response.json()
    # 处理数据...
    
    if not 'next' in data['meta'] or 'end_of_data' in data['meta']:
        break
    
    start += len(data['data'])