scrapy中spider middleware的作用不包括什么
时间: 2024-05-27 22:10:18 浏览: 152
scrapy_redis概念作用和流程1
Scrapy中Spider Middleware的作用包括:
1. 处理请求:可以在发送请求之前或者之后对请求进行修改。
2. 处理响应:可以在接收到响应之前或者之后对响应进行修改。
3. 生成新的请求:可以根据已经爬取到的数据生成新的请求。
4. 过滤请求和响应:可以根据一些特定的条件来过滤掉不需要的请求或者响应。
Spider Middleware的作用不包括:
1. 数据存储:Spider Middleware并不直接负责数据存储,这是由Item Pipeline来完成的。
2. 代理设置:Spider Middleware并不处理代理设置,这是由Downloader Middleware来完成的。
3. 用户认证:Spider Middleware并不直接处理用户认证,这是由Downloader Middleware来完成的。
阅读全文