scrapy 图片下载

Scrapy是一个强大的Python爬虫框架，可以用于抓取网页数据。在Scrapy中，可以使用自定义的Pipeline来实现图片下载功能。

首先，你需要在Scrapy项目中创建一个自定义的Pipeline来处理图片下载。在该Pipeline中，你可以使用Python的requests库或者Scrapy提供的内置函数来下载图片。

以下是一个简单的示例代码，展示了如何在Scrapy中实现图片下载功能：

import scrapy
from scrapy.pipelines.images import ImagesPipeline

class MyImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for image_url in item['image_urls']:
            yield scrapy.Request(image_url)

    def file_path(self, request, response=None, info=None):
        # 自定义图片保存路径
        image_guid = request.url.split('/')[-1]
        return 'images/%s' % (image_guid)

在上述代码中，`get_media_requests`方法用于获取要下载的图片URL，并通过`yield`关键字将其传递给Scrapy引擎进行下载。`file_path`方法用于指定图片保存的路径。

接下来，在你的Scrapy项目的settings.py文件中，将自定义的Pipeline添加到ITEM_PIPELINES配置项中：

ITEM_PIPELINES = {
    'your_project_name.pipelines.MyImagesPipeline': 1,
    # 其他的Pipeline...
}

最后，在你的Spider中，将需要下载图片的URL添加到item中，并在item中定义一个字段来存储这些URL：

import scrapy

class MySpider(scrapy.Spider):
    name = 'my_spider'

    def start_requests(self):
        # 构造请求并发送给Scrapy引擎
        yield scrapy.Request(url='http://example.com', callback=self.parse)

    def parse(self, response):
        # 解析网页内容，提取图片URL并存储到item中
        item = {}
        item['image_urls'] = response.css('img::attr(src)').getall()
        yield item

在上述代码中，`parse`方法中使用了CSS选择器来提取网页中的图片URL，并将其存储到item的`image_urls`字段中。

这样，当你运行Scrapy爬虫时，图片将会被下载并保存到指定的路径中。