python爬虫爬取多页数据

你可以使用 Python 编写爬虫来爬取多页数据。下面是一个示例代码，可以帮助你理解如何实现。

import requests
from bs4 import BeautifulSoup

def scrape_data(url):
    response = requests.get(url)
    if response.status_code == 200:
        soup = BeautifulSoup(response.text, 'html.parser')
        # 在这里解析网页内容，提取你需要的数据
        # ...
    else:
        print('请求失败')

# 爬取多页数据的示例
for page in range(1, 6):  # 假设要爬取1到5页的数据
    url = f'https://example.com/page/{page}'  # 替换为你要爬取的网页地址
    scrape_data(url)

在这个示例中，我们使用了 `requests` 库发送 HTTP 请求，然后使用 `BeautifulSoup` 库解析 HTML 内容。你可以根据具体的网页结构和需要提取的数据进行相应的修改。

重要的是要注意网站的爬取规则和合法性。确保你的爬虫不会给目标网站带来过大的负担，并遵守相关法律和规定。