说一说 scrapy 的工作流程

Scrapy的工作流程大致如下：首先，我们要定义起始的URL（即起始的爬取页面），然后由Scrapy发起第一个HTTP请求，获取相应的HTML响应，并根据我们定义的CSS选择器解析出需要的数据，此时，如果还有其他页面需要爬取，Scrapy则会根据我们定义的规则继续发起HTTP请求，并解析HTML响应，直到没有其他需要爬取的页面为止。在整个爬取过程中，Scrapy还提供了众多的中间件，可以用来处理请求、响应，以及对数据进行处理和存储等操作。