python怎么获取下一页url

获取下一页 URL 的方法通常取决于网站的页面结构和数据格式。一般来说，可以使用 Python 的 requests 库或者 Scrapy 爬虫框架来实现获取下一页 URL 的功能。

下面是使用 requests 库实现获取下一页 URL 的示例代码：

import requests
from bs4 import BeautifulSoup

url = "http://example.com/page1"
while True:
    response = requests.get(url)
    soup = BeautifulSoup(response.text, "html.parser")
    # 解析页面内容，获取需要的数据
    # ...

    # 获取下一页 URL
    next_url = soup.find("a", class_="next-page").get("href")
    if not next_url:
        break
    url = next_url

在这个示例代码中，我们首先定义了起始页面的 URL，然后使用 while 循环不断获取下一页的 URL，并对每一页的内容进行解析和处理。具体的解析方法可以根据网站的页面结构来进行调整。当没有下一页时，退出循环。

需要注意的是，有些网站可能会对爬虫进行限制，因此在实际使用中需要注意遵守网站的规定，避免对网站造成不必要的损害。