python 爬取过程中怎么分页爬取

在Python中进行分页爬取，可以使用循环来遍历不同页面的URL，并发送HTTP请求获取页面内容。以下是一个简单的示例来说明分页爬取的过程：

import requests

# 定义分页数量和起始页码
page_count = 5
start_page = 1

# 循环遍历不同页面
for page in range(start_page, start_page + page_count):
    url = f'https://www.example.com/page/{page}'  # 构造不同页面的URL
    response = requests.get(url)  # 发送HTTP请求获取页面内容

    # 处理页面内容，例如解析HTML或提取数据
    # ...

    # 在这里执行你的爬取逻辑
    # ...

    print(f'爬取第 {page} 页完成')

print('所有页面爬取完成')

在上面的示例中，我们首先定义了要爬取的总页数`page_count`和起始页码`start_page`。然后使用循环来遍历不同页面，构造不同页面的URL并发送HTTP请求获取页面内容。你可以根据实际情况进行URL的构造。

在循环内部，你可以根据需要对每个页面的内容进行处理，如解析HTML、提取数据等。然后，在合适的位置编写你的爬取逻辑，对页面内容进行进一步处理或提取所需数据。

最后，我们打印出完成爬取的信息，当所有页面都爬取完成后，会打印出"所有页面爬取完成"的提示。

请注意，上述示例只是一个简单的框架，具体的爬取逻辑和页面处理需要根据实际需求进行编写。此外，需要注意爬虫的合法性和遵守相关网站的爬取规则，避免给目标网站带来不必要的负担或违反法律法规。