python爬虫批量下载网页

以下是使用Python爬虫批量下载网页的示例代码[^2]：

import requests
import os

def download_webpages(url_list, save_dir):
    for url in url_list:
        # 发送GET请求获取网页内容
        response = requests.get(url)
        # 获取网页的文件名
        filename = url.split("/")[-1]
        # 拼接保存路径
        save_path = os.path.join(save_dir, filename)
        # 将网页内容保存到本地文件
        with open(save_path, "wb") as f:
            f.write(response.content)
        print("Successfully downloaded:", filename)

# 要下载的网页URL列表
url_list = [
    "https://www.example.com/page1.html",
    "https://www.example.com/page2.html",
    "https://www.example.com/page3.html"
]

# 保存网页的目录
save_dir = "webpages"

# 创建保存目录
os.makedirs(save_dir, exist_ok=True)

# 调用函数进行批量下载
download_webpages(url_list, save_dir)

这段代码使用了`requests`库来发送GET请求获取网页内容，并使用`os`库来创建保存网页的目录。通过循环遍历URL列表，依次下载网页并保存到本地文件中。你可以根据自己的需求修改URL列表和保存目录。