使用scrapy爬取豆瓣读书评分在9分以上的图书数据

Scrapy是一个强大的Python爬虫框架，可以用于从网站上抓取结构化的数据。要使用Scrapy爬取豆瓣读书（Douban Book）评分在9分以上的图书数据，你需要按照以下步骤操作：

1. **安装Scrapy**:
首先确保已安装Python（版本通常建议3.x），然后通过命令行安装Scrapy：

   pip install scrapy

2. **创建项目**:
创建一个新的Scrapy项目：

   scrapy startproject douban_books
   cd douban_books

3. **设置中间件和解析器**:
- 定义一个Item Pipeline处理图书数据，例如`items.py`:

     import scrapy
     class BookItem(scrapy.Item):
         title = scrapy.Field()
         rating = scrapy.Field()
         # 添加其他需要的字段...

- 实现一个解析器Spider，比如`douban_books_spider.py`:

     import scrapy
     from .items import BookItem

     class DoubanBooksSpider(scrapy.Spider):
         name = "douban_books"
         allowed_domains = ["book.douban.com"]
         base_url = "https://book.douban.com/top250"

         def start_requests(self):
             yield scrapy.Request(url=self.base_url, callback=self.parse)

         def parse(self, response):
             for book in response.css('div.item'):
                 title = book.css('span.title a::text').get()
                 rating = float(book.css('span.rating_num::text').get())
                 if rating >= 9.0:
                     item = BookItem(title=title, rating=rating)
                     yield item
             next_page = response.css('a.next::attr(href)').get() or 'javascript:void(0)'
             if next_page and next_page != '#':
                 yield response.follow(next_page, self.parse)

确保设置了起始URL（这里假设是top250排行榜页面）并跟随分页链接。

4. **运行爬虫**:
在项目目录下运行爬虫：

   scrapy crawl douban_books

注意，豆瓣有反爬虫策略，可能会限制非浏览器环境访问或频繁请求，实际爬取前请务必遵守网站的robots.txt文件和使用代理IP等方法降低风险。