scrapy爬取豆瓣多页数据

要爬取豆瓣的多页数据，可以使用Scrapy框架，并且需要了解一些XPath语法。

首先，打开豆瓣电影的页面，可以看到每一页的URL都有一个类似于这样的格式：https://movie.douban.com/top250?start=25&filter= 。其中，start参数表示从第几个电影开始，每页显示25个电影。所以，我们可以通过改变start参数的值来获取不同页的电影数据。

接下来，我们可以创建一个Scrapy项目，并且在spider中编写爬虫代码。代码如下：

import scrapy

class DoubanSpider(scrapy.Spider):
    name = "douban"
    allowed_domains = ["douban.com"]
    start_urls = [
        "https://movie.douban.com/top250"
    ]

    def parse(self, response):
        # 获取下一页的URL，并交给parse继续抓取数据
        next_page = response.xpath('//span[@class="next"]/a/@href')
        if next_page:
            url = response.urljoin(next_page[0].extract())
            yield scrapy.Request(url, self.parse)

        # 解析当前页面的电影数据
        for movie in response.xpath('//div[@class="info"]'):
            yield {
                'title': movie.xpath('div[@class="hd"]/a/span[@class="title"]/text()').extract_first(),
                'rating': movie.xpath('div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract_first(),
                'quote': movie.xpath('div[@class="bd"]/p[@class="quote"]/span/text()').extract_first(),
            }

在这个代码中，我们首先定义了爬虫的名称、允许爬取的域名和起始URL。然后，在parse方法中，我们先获取下一页的URL，并通过yield关键字交给Scrapy继续抓取数据。接着，我们使用XPath语法解析当前页面的电影数据，并通过yield关键字将数据返回。最后，Scrapy会将所有的数据保存到一个JSON文件中。

最后，我们可以在终端中运行以下命令来启动Scrapy爬虫：

scrapy crawl douban -o douban.json

这个命令会启动名为douban的爬虫，并将所有数据保存到douban.json文件中。