如何爬取同一网站多页数据

爬取同一网站多页数据的方法和爬取静态网页多页数据的方法类似。我们可以使用 Python 的 requests 和 BeautifulSoup 库。

首先，我们需要确定要爬取的页面的 URL 格式。假设我们要爬取的页面是 https://example.com/page?page_number=1，其中 page_number 表示页码，我们需要从第一页开始爬取，一直爬取到最后一页。

接下来，我们可以使用 requests 库获取网页的 HTML 内容，然后使用 BeautifulSoup 库解析出我们需要的内容。

具体的爬取代码可以如下：

import requests
from bs4 import BeautifulSoup

# 定义要爬取的页面 URL 格式
url_template = 'https://example.com/page?page_number={}'

# 定义要爬取的页码范围
start_page = 1
end_page = 10

# 循环爬取每一页
for page_number in range(start_page, end_page + 1):
    # 构造当前页的 URL
    url = url_template.format(page_number)
    # 发送请求获取页面内容
    response = requests.get(url)
    # 解析页面内容
    soup = BeautifulSoup(response.text, 'html.parser')
    # 提取我们需要的内容
    # TODO: 这里根据实际情况进行提取

在这个代码中，我们首先定义了要爬取的页面 URL 格式，然后定义了要爬取的页码范围。接下来，我们使用循环依次爬取每一页的内容，具体流程是：

1. 构造当前页的 URL，使用 `url_template.format(page_number)` 来替换 URL 中的占位符 `{}`，得到当前页的 URL。
2. 发送请求获取页面内容，使用 `requests.get(url)` 发送 GET 请求，得到响应对象。
3. 解析页面内容，使用 `BeautifulSoup(response.text, 'html.parser')` 将 HTML 内容解析为 BeautifulSoup 对象。
4. 提取我们需要的内容，使用 BeautifulSoup 提供的各种方法提取我们需要的内容。

需要注意的是，每个网站的页面 HTML 结构都不同，因此在提取内容时需要根据实际情况进行调整。另外，有些网站可能会对爬虫进行限制，需要加上一些反爬虫措施，比如设置请求头、使用代理等。