python爬虫如何保存图片

在Python爬虫中，可以使用Scrapy框架来保存图片。下面是保存图片的步骤：

1. 首先，在Scrapy项目的settings.py文件中配置相关的设置。将以下代码添加到settings.py文件中：

ITEM_PIPELINES = {
    'scrapy.pipelines.images.ImagesPipeline': 1
}
IMAGES_STORE = 'path/to/save/images'

其中，`IMAGES_STORE`是指定要保存图片的目录路径，将`path/to/save/images`替换为实际的目录路径。

2. 然后，在定义的Item类中添加一个字段来存储图片的URL。例如：

import scrapy

class MyItem(scrapy.Item):
    image_urls = scrapy.Field()

3. 接下来，在Spider中使用Item来传递图片的URL。在Spider的`parse`方法中，可以通过`yield`语句将图片的URL传递给Item。例如：

import scrapy
from myproject.items import MyItem

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def parse(self, response):
        item = MyItem()
        item['image_urls'] = response.css('img::attr(src)').getall()
        yield item

4. 最后，在定义的Item类中，使用`scrapy.pipelines.images.ImagesPipeline`来处理图片的下载和保存。例如：

import scrapy
from scrapy.pipelines.images import ImagesPipeline

class MyItem(scrapy.Item):
    image_urls = scrapy.Field()
    images = scrapy.Field()

class MyImagesPipeline(ImagesPipeline):
    def file_path(self, request, response=None, info=None):
        # 自定义保存图片的文件名
        return 'full/{0}.jpg'.format(request.url.split('/')[-1])

    def item_completed(self, results, item, info):
        # 将下载的图片的路径保存到Item中
        if 'images' not in item:
            item['images'] = []
        for ok, value in results:
            if ok:
                item['images'].append(value['path'])
        return item

现在，当你运行Scrapy爬虫时，它将自动下载并保存图片到指定的目录中。