Scrapy怎么用下载器下载图片并保存本地

在Scrapy中，下载器（Downloader）负责从网页上下载数据。要下载图片并保存到本地，你需要配置Scrapy的中间件来处理下载任务，并定义一个Item Pipeline来处理下载后的图片。

1. **配置下载器中间件**[^1]:
- 在`settings.py`中启用图片下载功能：

     IMAGES_STORE = 'path/to/images/folder'  # 设置图片存储路径
     DOWNLOAD_DELAY = 1  # 添加延时以避免过于频繁的请求

2. **编写下载管道**:
- 创建一个`pipelines.py`文件，添加一个处理图片的Pipeline类：

     from scrapy.pipelines.images import ImagesPipeline

     class MyImagesPipeline(ImagesPipeline):
         def get_media_requests(self, item, info):
             for image_url in item['image_urls']:
                 yield scrapy.Request(image_url)

         def file_path(self, request, response=None, info=None):
             filename = request.url.split("/")[-1]
             return 'images/' + filename

3. **设置Item**:
- 在`items.py`中定义一个Item，包括图片URL字段：

     class CosplayImageItem(scrapy.Item):
         image_urls = scrapy.Field()

4. **下载和保存图片**:
- 在`spiders.py`中的解析器方法里，将图片URL添加到Item：

     def parse(self, response):
         image_urls = response.css('img::attr(src)').getall()
         cosplay_item = CosplayImageItem(image_urls=image_urls)
         yield cosplay_item

5. **运行爬虫**:
- 使用`scrapy crawl your_spider_name`命令启动爬虫。

执行以上步骤后，Scrapy会按照设置的路径下载图片并保存。记得替换`IMAGES_STORE`为你项目的实际图片存放位置。