python爬虫怎么翻页

Python爬虫翻页的方法主要有两种：

1. URL参数翻页

有些网站的翻页链接会在URL中添加对应的参数，例如第一页的URL为：https://www.example.com/page=1，第二页的URL为：https://www.example.com/page=2，以此类推。因此可以通过修改URL中的参数来实现翻页。

代码示例：

import requests

for page in range(1, 11):  # 爬取1-10页的内容
    url = 'https://www.example.com/?page=' + str(page)
    response = requests.get(url)
    # 处理响应内容

2. 页面元素翻页

有些网站的翻页链接不在URL中，而是在页面中的某个元素中，例如点击“下一页”按钮后会刷新页面内容。此时可以使用Selenium等工具模拟网页操作，通过控制浏览器来实现翻页。

代码示例：

from selenium import webdriver

browser = webdriver.Chrome()  # 打开Chrome浏览器
browser.get('https://www.example.com/')  # 打开网站首页

for page in range(1, 11):  # 爬取1-10页的内容
    # 点击“下一页”按钮
    next_page = browser.find_element_by_xpath('//button[@class="next-page"]')
    next_page.click()
    # 等待页面加载完成
    browser.implicitly_wait(10)
    # 处理页面内容

以上两种方法可以根据不同的网站情况选择使用。