python多页爬取并保存

Python多页爬取并保存可以通过以下步骤实现：

1. 导入所需的库：需要导入`requests`库来发送HTTP请求，以及`beautifulsoup4`库来解析网页内容。

2. 构建爬取多页的循环：首先确定需要爬取的页数范围，并使用循环遍历每一页的网址。

3. 发送HTTP请求并获取网页内容：使用`requests.get()`函数发送HTTP请求，并将网页的内容保存在一个变量中。

4. 解析网页内容：使用`BeautifulSoup`类对网页内容进行解析，以便提取所需的数据。可以通过查看网页源代码或使用开发者工具来确定需要提取的数据所在的标签和属性。

5. 提取数据并保存：通过使用`find()`、`find_all()`等方法来提取所需的数据，并将其保存在一个变量中。可以将数据保存在一个列表中，便于后续的处理和保存。

6. 保存数据：将提取后的数据保存到文件中，常见的保存方式有保存为文本文件（如CSV或TXT格式）、保存为Excel文件（如XLSX格式）等。

7. 循环结束后，可以在程序中添加一些清理操作，如关闭文件或释放资源等。

下面是一个示例代码，用于爬取某网站的多个页面并保存为CSV文件：

import requests
from bs4 import BeautifulSoup
import csv

for i in range(1, 6):  # 从第1页到第5页
    url = f"http://example.com/page/{i}"  # 替换为要爬取的网址
    response = requests.get(url)
    soup = BeautifulSoup(response.text, "html.parser")

    # 提取数据并保存
    data = []
    for item in soup.find_all("div", class_="item"):  # 替换为实际标签和属性
        title = item.find("h2").text  # 替换为实际标签和属性
        price = item.find("span", class_="price").text  # 替换为实际标签和属性
        data.append([title, price])

    # 保存数据为CSV文件
    with open(f"data_page_{i}.csv", "w", newline="", encoding="utf-8") as f:  # 替换为保存的文件名和编码方式
        writer = csv.writer(f)
        writer.writerow(["Title", "Price"])  # 写入表头
        writer.writerows(data)  # 写入数据

以上代码仅作为示例，实际使用时需要根据具体的网页结构和需求进行修改。同时，在实际爬取时还要注意遵守网站的爬虫规则，以免造成不必要的麻烦。