单选题) 以下哪个不是Scrapy体系架构的组成部分:( ) A 下载器(Downloader) B 爬虫(Spiders) C Scrapy引擎(Engine) D 支持者(Support)
时间: 2023-10-07 21:06:08 浏览: 92
D 支持者(Support)不是Scrapy体系架构的组成部分。Scrapy体系架构的组成部分包括:
- 引擎(Engine):控制各个组件之间的数据流,并在相应动作发生时触发事件。
- 蜘蛛(Spiders):定义爬取站点的方式和提取数据的方式。
- 调度器(Scheduler):维护一个待爬取的请求队列,并负责调度请求的下载。
- 下载器(Downloader):下载网页并将响应交给蜘蛛处理。
- 项目管道(Pipeline):处理从蜘蛛中提取出来的数据,如数据清洗、去重、存储等。
相关问题
scrapy爬虫框架——
Scrapy是一个强大的Python爬虫框架,用于高效地抓取网站数据并提供结构化的存储方式。它设计简洁,模块化,允许开发者轻松构建复杂的网络数据提取系统。Scrapy主要包括以下几个关键组件:
1. **下载器** (Downloader):负责下载网页内容,可以处理各种HTTP请求,并自动管理cookies和session。
2. **中间件** (Middleware):一系列插件,可以在数据传输过程中对请求和响应进行修改、过滤或者分析。
3. **解析器** (Parser):解析HTML或XML文档,提取出需要的数据,并将其转换成Item对象,这是Scrapy处理数据的基本单位。
4. **Spiders**:核心部分,编写自定义的爬虫逻辑,定义要爬取的URL列表,以及如何解析页面规则。
5. **项目管理和调度**:通过Scrapy项目文件和调度器管理整个爬虫生命周期,包括启动、停止、重启和任务分配。
使用Scrapy,你可以方便地定义规则来筛选目标数据,支持异步下载和并发抓取,同时还有内置的错误处理机制和日志记录功能。如果你想深入了解Scrapy,可以从官方文档开始学习,实践编写简单的爬虫并逐步深入到更高级的主题。
python爬虫scrapy知乎案例
以下是一个简单的scrapy爬取知乎热门话题的案例:
首先,需要安装scrapy和其他需要的库:
```
pip install scrapy
pip install requests
pip install scrapy-splash
```
然后,创建一个新的scrapy项目:
```
scrapy startproject zhihu
cd zhihu
```
接着,在`settings.py`中添加一些配置:
```python
BOT_NAME = 'zhihu'
SPIDER_MODULES = ['zhihu.spiders']
NEWSPIDER_MODULE = 'zhihu.spiders'
ROBOTSTXT_OBEY = False
DOWNLOAD_DELAY = 3
DOWNLOADER_MIDDLEWARES = {
'scrapy_splash.SplashCookiesMiddleware': 723,
'scrapy_splash.SplashMiddleware': 725,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}
SPLASH_URL = 'http://localhost:8050'
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
```
在这里,我们使用了Splash来渲染网页,因此需要添加一些相关的配置。`DOWNLOAD_DELAY`是下载延迟时间,为了避免被网站封禁,最好设置一个较长的时间。
接下来,创建一个名为`zhihu_spider.py`的Spider类:
```python
import scrapy
from scrapy_splash import SplashRequest
class ZhihuSpider(scrapy.Spider):
name = 'zhihu'
allowed_domains = ['www.zhihu.com']
start_urls = ['https://www.zhihu.com/hot']
script = '''
function main(splash, args)
assert(splash:go(args.url))
assert(splash:wait(2))
return splash:html()
end
'''
def start_requests(self):
for url in self.start_urls:
yield SplashRequest(url, self.parse, endpoint='execute', args={
'lua_source': self.script
})
def parse(self, response):
for item in response.css('.HotItem'):
yield {
'title': item.css('.HotItem-title a::text').get(),
'link': item.css('.HotItem-title a::attr(href)').get(),
}
```
在这里,我们使用了SplashRequest来请求页面,并使用Lua脚本来等待页面加载完毕。然后,我们使用CSS选择器来提取热门话题的标题和链接,并将它们存储在字典中,然后使用yield返回。
最后,运行爬虫:
```
scrapy crawl zhihu -o zhihu.csv
```
这将抓取知乎热门话题的标题和链接,并将它们存储在CSV文件中。