爬虫怎么一次爬取多张图片

爬虫抓取多张图片通常涉及遍历网页中的图片链接，并下载到本地。这里是一个基本步骤的概述：

1. **分析网页结构**：首先，你需要使用如BeautifulSoup、Scrapy等库解析HTML，找到图片所在的元素，这些元素往往包含`<img>`标签。

2. **定位图片URLs**：查看每个`<img>`标签的`src`属性，这是图片的实际链接。如果图片位于JavaScript加载的内容中，则可能需要额外处理。

3. **设置请求头和代理**：为了防止被目标网站屏蔽或限制访问，你可能需要设置适当的User-Agent和代理IP。

4. **批量下载**：创建一个函数或循环，对每个图片URL发起请求并保存图片。可以使用Python的requests库来发送HTTP请求，PIL库来处理文件流，然后写入磁盘。

5. **错误处理**：处理可能出现的网络错误或图片不存在的情况，例如404错误或图片已被删除。

6. **存储管理**：将图片按照一定的命名规则或目录结构保存下来，方便后续管理和分类。

示例代码（Python, 使用requests和PIL）：

import requests
from PIL import Image
import os

def download_image(url):
    response = requests.get(url, stream=True)
    if response.status_code == 200:
        img = Image.open(response.raw)
        filename = os.path.join('images', url.split('/')[-1])
        with open(filename, 'wb') as f:
            img.save(f)
    else:
        print(f"Failed to download {url}")

# 获取所有图片URL
image_urls = [img_url for img_url in soup.find_all('img', src=True)]
for url in image_urls:
    download_image(url['src'])