scrapy 保存图片

Scrapy是一个强大的Python网络爬虫框架，用于高效地抓取网页数据。如果你想要用Scrapy保存图片，通常会涉及到下载中间件和处理规则。以下是如何操作的一个简单步骤：

1. **安装必要的库**：首先，确保你已经安装了`scrapy`和可能需要的图像处理库如`PIL（Pillow）`。

2. **设置下载中间件**：在Scrapy项目的`settings.py`文件中，配置下载管理器（DownloadHandler）为`DOWNLOAD_HANDLERS_IMAGE`。例如：

   DOWNLOADER_MIDDLEWARES = {
       'scrapy.downloadermiddlewares.downloadstats.DownloadStatsMiddleware': 800,
       # 图片下载中间件，比如 Requests 图像下载中间件
       'scrapy_image_downloader.middleware.ImageDownloaderMiddleware': 723,
   }

3. **编写下载规则**：创建一个或多个下载规则（Downloader Rules），定义哪些URL应该被下载。对于图片，你可以指定链接后缀，如`.jpg`, `.png`等，然后指派保存路径。在`pipelines.py`中的下载管道（Download Pipeline）里完成这一步。

import os

class ImagesPipeline(object):
    def process_item(self, item, spider):
        for image_url in item.get('image_urls', []):
            filename = image_url.split("/")[-1]
            with open(os.path.join('images', filename), 'wb') as f:
                f.write(response.body)
        return item

4. **运行爬虫**：启动Scrapy爬虫，它将按照设定的规则下载并保存图片。