scrapy 数据采集代码

Scrapy是一个Python框架，主要用于爬取互联网站点，并从中提取结构化的数据。它主要有以下组成部分：

1. 引擎(Engine)：负责控制整个系统的数据流处理、触发事务。
2. 调度器(Scheduler)：负责接受引擎发过来的请求并将其入队，以便引擎按照一定的策略进行请求的发送。
3. 下载器(Downloader)：负责下载Scrapy引擎发送的所有请求，并将其获取到的响应交还给Scrapy引擎。
4. 爬虫(Spider)：负责解析Downloader返回的响应，从中提取出所需的数据并生成数据项(Item)，同时产生需要跟进的URL请求，也就是回调函数。
5. 数据管道(Pipeline)：负责处理Spider从页面中抽取到的数据，并进行数据清洗、验证、存储等一系列操作。
6. 下载中间件(Downloader Middleware)：可以自定义一些中间件，用于扩展下载器功能，比如设置代理、设置UA等等。
7. 爬虫中间件(Spider Middleware)：可以自定义一些中间件，用于扩展Spider功能，比如对请求或响应进行处理等等。

以下是一个简单的Scrapy爬虫示例代码：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://www.example.com']

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
            }

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

以上示例代码使用Scrapy爬取了http://www.example.com网站上的名言警句，并将结果输出为JSON格式。你可以按照自己的需求修改代码并运行。如果有任何问题，请随时提问。