"四川工商职业技术学院的一份2020-2021学年第一学期的《数据采集系统》期末考试A卷,涵盖了数据采集、处理、分布式系统以及大数据相关知识,包括选择题和可能的论述题。试卷中涉及了CSS选择器、爬虫技术、HTTP协议、消息中间件、HDFS、Hadoop等相关概念。"
在这份期末考试中,我们可以看到一些重要的知识点:
1. CSS子选择器:题目中提到了标签选择器、Class选择器和id选择器,这些都是CSS选择器的类型,用于精确地定位和操作HTML或XML文档中的元素。对象选择器并不属于CSS子选择器的范畴。
2. 内容协商技术:在网页抓取时,内容协商用于确定服务器应返回哪种内容给客户端。题目中提到的服务器驱动协商、客户端驱动协商和透明协商都是内容协商的方式,而妥协协商不在这个列表中。
3. 数据采集方式:爬虫可以获取多种数据,包括企业生成的数据、数据平台销售的数据和政府、机构公开的数据。非法获取数据如警察局盗用数据是不合法的。
4. HTTP状态码:200表示HTTP请求成功,这在爬虫过程中是一个关键的反馈,表示请求的网页已成功加载。
5. DNS解析:在访问URL时,DNS(域名系统)用于将URL转换成IP地址,以便网络通信。
6. 消息中间件:Apache Kafka、RabbitMQ和RocketMQ都是消息中间件的实例,而sharememory是一种内存共享机制,不属于消息中间件。
7. HDFS全称:Hadoop分布式文件系统,是Hadoop生态系统中的核心组件,用于存储大规模数据。
8. HDFS起源:HDFS的灵感来源于Google的分布式文件系统。
9. Hadoop2.x的HDFS数据块默认大小:在Hadoop的更新版本中,数据块大小通常设置为128MB。
10. HDFS操作:HDFS支持读取、删除和存档文件,但不支持执行文件,因为它是一个文件系统而非操作系统。
11. 大数据量级:目前大数据的量级已经达到了ZB级别,这表明数据量极其庞大。
12. HDFS架构组件:NameNode、DataNode和SecondaryNameNode是HDFS的组成部分,GFS则是Google的分布式文件系统,不是HDFS的一部分。
13. Hadoop2.x的变化:与Hadoop1.x相比,引入了YARN(Yet Another Resource Negotiator),改进了资源管理和任务调度。
14. 分布式列式数据库:HBase是在Hadoop文件系统之上构建的,提供高吞吐量的数据访问。
这份试卷的题目设计涵盖了从基础的Web技术和网络通信到更复杂的分布式系统和大数据处理的多个层次,反映了《数据采集系统》课程的学习范围和深度。