scrapy保存图片操作

Scrapy是一个强大的Python网络爬虫框架，用于高效地抓取网页数据。如果你想要使用Scrapy保存图片，你可以遵循这些基本步骤：

1. **设置下载器中间件**：在Scrapy中，`DownloaderMiddleware`是处理下载和请求的地方。你需要设置一个下载管道（`DownloadPipeline`），用于下载图片。在`settings.py`文件中，添加一个新的下载管道，例如 `IMAGESPipeline`。

   DOWNLOADER_MIDDLEWARES = {
       'myproject.pipelines.ImagesPipeline': 300,
   }

2. **定义下载管道**：创建一个名为`ImagesPipeline`的类，继承自`BaseDownloadPipeline`。这个类将负责下载图片并存储它们。

   class ImagesPipeline(BaseDownloadPipeline):
       def get_media_requests(self, response):
           # 这里可以根据响应中的URL找到图片链接
           for img_url in response.css('img::attr(src)').getall():
               yield DownloadRequest(img_url)

       def item_completed(self, results, item, info):
           image_paths = [x['path'] for ok, x in results if ok]
           if not image_paths:
               return item
           # 将图片路径附加到item上
           item['image_paths'] = image_paths
           return item

3. **处理响应和存储图片**：在`download_response`方法中，使用`response.url`作为文件名下载图片，并使用`save_path`方法保存到本地。

   def download_response(self, request, response, spider):
       # 使用下载的URL作为文件名
       filename = os.path.basename(response.url)
       # 保存图片到指定目录
       path = os.path.join(self.save_path, filename)
       with open(path, 'wb') as f:
           f.write(response.body)

4. **配置保存图片的路径**：在`settings.py`中，设置`IMAGES_STORE`变量为图片保存的目录。

   IMAGES_STORE = 'path/to/images/folder'

5. **运行爬虫**：最后，在Scrapy项目中运行爬虫时，图片下载和存储就会按照上述配置进行。