scrapy 爬取图片必备库

Scrapy是一个强大的Python爬虫框架，它本身并不直接提供图片下载的功能，但它可以配合一些第三方库来处理图片爬取。当你需要在Scrapy项目中爬取图片时，通常会用到以下几个相关的库：

1. **requests**：这是发送HTTP请求的基本库，用于获取网页内容，包括图片的URL。

2. **BeautifulSoup4 (bs4)** 或者 **lxml**：它们是用来解析HTML或XML文档的库，帮助你从页面结构中提取出图片链接。

3. **Scrapy-Selector**：这是一个 Scrapy 的内置模块，基于 BeautifulSoup 或 lxml 提供了更高级的选择器，方便抓取特定元素。

4. **PIL (Pillow)**：Python Imaging Library 的升级版，用于读取、操作和保存各种图像文件格式。

5. **Scrapy-Image**：虽然不是Scrapy的一部分，但这是一个插件，用于异步下载图片，提高效率，并支持错误重试等特性。

6. **diskcache** 或其他缓存机制：对于频繁访问的图片，可以使用缓存技术减少网络IO。

使用这些库，你可以编写如下的伪代码示例：

import scrapy
from scrapy.http import Request
from PIL import Image

class MySpider(scrapy.Spider):
    def start_requests(self):
        urls = ['http://example.com']  # 替换为你想爬取的网站
        for url in urls:
            yield Request(url, self.parse_images)

    def parse_images(self, response):
        image_links = response.css('img::attr(src)').getall()  # 使用选择器提取图片链接
        for link in image_links:
            yield Request(link, callback=self.download_image)

    def download_image(self, request):
        img_data = request.body  # 获取图片二进制数据
        with open(f'downloaded/{request.url.split("/")[-1]}', 'wb') as f:
            f.write(img_data)
        img = Image.open(BytesIO(img_data))  # 解压并打开图片
        # 进行进一步处理或存储