python爬虫自动翻页

你可以使用Python编写爬虫来实现自动翻页功能。下面是一个简单的示例代码，可以帮助你开始：

import requests
from bs4 import BeautifulSoup

def get_page(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    else:
        return None

def parse_page(html):
    soup = BeautifulSoup(html, 'html.parser')
    # 在这里解析页面数据，提取你需要的信息

def main():
    base_url = 'http://example.com/page='
    page_num = 1
    while True:
        url = base_url + str(page_num)
        html = get_page(url)
        if not html:
            break
        parse_page(html)
        page_num += 1

if __name__ == '__main__':
    main()

在这个示例中，`get_page`函数用于发送HTTP请求并获取页面内容，`parse_page`函数用于解析页面数据（你需要根据具体网页的结构来编写解析逻辑）。`main`函数是程序的入口，循环获取并解析每一页的内容，直到没有更多页面为止。

你需要将示例代码中的`base_url`替换为你要爬取的网页的URL，同时根据需要修改`parse_page`函数来提取你所需的数据。

注意：在编写爬虫时，请遵守网站的使用规则和法律法规，尊重网站所有者的权益，并确保不会对目标网站造成过大的负载。