python爬虫 翻页

你可以使用Python编写爬虫程序来翻页。通常情况下，你需要使用一个HTTP库（如Requests）发送HTTP请求，并使用一个HTML解析库（如BeautifulSoup或lxml）来解析返回的HTML页面。

下面是一个简单的示例代码，演示如何使用Python爬虫翻页：

import requests
from bs4 import BeautifulSoup

# 初始页面URL
url = 'http://example.com/page1'

while url:
    # 发送HTTP请求获取页面内容
    response = requests.get(url)
    html = response.text

    # 解析HTML页面
    soup = BeautifulSoup(html, 'html.parser')

    # 提取你需要的数据或执行相应的操作
    # ...

    # 获取下一页URL
    next_link = soup.find('a', {'class': 'next'})
    if next_link:
        url = next_link['href']
    else:
        url = None

在这个例子中，我们首先发送一个HTTP GET请求来获取页面的内容。然后，使用BeautifulSoup库解析HTML页面，并提取我们需要的数据或执行相应的操作。最后，我们查找下一页的链接，并更新`url`变量以翻页。

请注意，具体的网页结构和翻页方式可能因网站而异，你需要根据具体情况进行相应的调整和处理。此外，确保你在编写爬虫程序时遵守网站的使用条款和政策，以免触犯法律或侵犯他人的权益。