头歌scrapy爬虫之网站图片爬取答案

以下是使用Scrapy爬虫框架进行网站图片爬取的步骤：

1. 创建Scrapy项目

在终端中输入以下命令创建一个名为“image_spider”的Scrapy项目：

scrapy startproject image_spider

2. 创建爬虫

在终端中进入项目目录，执行以下命令创建一个名为“image”的爬虫：

cd image_spider
scrapy genspider image example.com

3. 编写爬虫代码

打开spiders/image.py文件，将以下代码复制进去：

import scrapy


class ImageSpider(scrapy.Spider):
    name = 'image'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def parse(self, response):
        for img in response.css('img'):
            yield {'image_url': img.xpath('@src').get()}

这个爬虫会爬取example.com网站上的所有图片，并将图片链接保存到一个字典中。

4. 运行爬虫

在终端中进入项目目录，执行以下命令运行爬虫：

scrapy crawl image -o images.json

这个命令会将爬取到的图片链接保存到一个名为“images.json”的文件中。