"大数据技术高频面试题详解：项目涉及技术、Linux必备知识"

需积分: 5 190 浏览量更新于2024-03-24 收藏 24.5MB DOCX 举报

操作系统………………………………………………………………………………………………………………………...………...121.2 Hadoop……………………………………………………………………………………………………………………………………..….….131.3 MapReduce…………………………………………………………………………………………………………………………………………141.4 Spark……………………………………………………………………………………………………………………………………………...….151.5 Hive…………………………………………………………………………………………………………………………………………………...161.6 HBase………………………………………………………………………………………………………………………………………………..171.7 Kafka………………………………………………………………………………………………………………………………………………...181.8 Flume………………………………………………………………………………………………………………………………………………...191.9 Sqoop………………………………………………………………………………………………………………………………………………....201.10 Oozie………………………………………………………………………………………………………………………………………………..211.11 ZooKeeper…………………………………………………………………………………………………………………………………………...221.12 ElasticSearch……………………………………………………………………………………………………………………………………….231.13 Storm………………………………………………………………………………………………………………………………………………..241.14 Flink………………………………………………………………………………………………………………………………………………….25第 2 章基础知识面试题………………………………………………………………………………………………………………………….......….26 2.1 什么是大数据？大数据特点有哪些？.....................................................................................................................26 2.2 什么是数据仓库？它与数据库有什么区别？...........................................................................................................272.3 什么是分布式计算？其优缺点是什么？……………………………………………………………………………………………………………...282.4 什么是并行计算？其作用及优势是什么？…………………………………………………………………………………………………………….292.5 谈谈数据清洗的重要性及方法？……………………………………………………………………………………………………………………….3第 3 章 Linux 操作系统面试题………………………………………………………………………………………………………………...…..303.1 什么是 Linux 操作系统？其优点有哪些？………………………………………………………………………………………………………………303.2 Linux 下如何查看文件内容？………………………………………………………………………………………………………………………...313.3 Linux 中如何查找文件及文件内容？…………………………………………

大数据技术之高频面试题

—————————————————————————————

3）每个 Reduce 拉取 Map 端对应分区的数据。拉取数据后先存储到内存中，内存不够

了，再存储到磁盘。拉取完所有数据后，采用归并排序将内存和磁盘中的数据都进行排序。

在进入 Reduce 方法前，可以对数据进行分组操作。

二、Hadoop 优化

0）HDFS 小文件影响

（1）影响 NameNode 的寿命，因为文件元数据存储在 NameNode 的内存中

（2）影响计算引擎的任务数量，比如每个小的文件都会生成一个 Map 任务

1）数据输入小文件处理：

（1）合并小文件：对小文件进行归档（Har）、自定义 Inputformat 将小文件存储成

SequenceFile 文件。

（2）采用 ConbinFileInputFormat 来作为输入，解决输入端大量小文件场景。

（3）对于大量小文件 Job，可以开启 JVM 重用。

2）Map 阶段

（1）增大环形缓冲区大小。由 100m 扩大到 200m

（2）增大环形缓冲区溢写的比例。由 80%扩大到 90%

（3）减少对溢写文件的 merge 次数。（10 个文件，一次 20 个 merge）

（4）不影响实际业务的前提下，采用 Combiner 提前合并，减少 I/O。

3）Reduce 阶段

（1）合理设置 Map 和 Reduce 数：两个都不能设置太少，也不能设置太多。太少，会

导致 Task 等待，延长处理时间；太多，会导致 Map、Reduce 任务间竞争资源，造成处理超

时等错误。

（2）设置 Map、Reduce 共存：调整 slowstart.completedmaps 参数，使 Map 运行到一定

程度后，Reduce 也开始运行，减少 Reduce 的等待时间。

（3）规避使用 Reduce，因为 Reduce 在用于连接数据集的时候将会产生大量的网络消

耗。

（4）增加每个 Reduce 去 Map 中拿数据的并行数

（5）集群性能可以的前提下，增大 Reduce 端存储数据内存的大小。

4）IO 传输

（1）采用数据压缩的方式，减少网络 IO 的的时间。安装 Snappy 和 LZOP 压缩编码

器。

大数据技术之高频面试题

—————————————————————————————

队列的并行度为队列的个数。

容量调度器

job11

job12 job13

job14

按照到达时间排序，先到先服务

queueA

job21

job22 job23

job24

job25

queueB

job31

job32 job33

job34

job35

queueC

1、支持多个队列，每个队列可配置一定的资源量，每个队列采用FIFO调度策略。

2、为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交

的作业所占资源量进行限定。

3、首先，计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比

值，选择一个该比值最小的队列——最闲的。

4、其次，按照作业优先级和提交时间顺序，同时考虑用户资源量限制和内存限

制对队列内任务排序。

20%资源，15个task

50%资源，25个task

30%资源，25个task

5、三个队列同时按照任务的先后顺序依次

执行，比如，job11、job21和job31分别排在

队列最前面，先运行，也是并行运行。

公平调度器：多队列；每个队列内部按照缺额大小分配资源启动任务，同一时间队列中

有多个任务执行。队列的并行度大于等于队列的个数。

3）一定要强调生产环境中不是使用的 FifoScheduler，面试的时侯会发现候选人大概了解这

几种调度器的区别，但是问在生产环境用哪种，却说使用的 FifoScheduler（企业生产环境一

定不会用这个调度的）

公平调度器

job11

job12 job13

job14

按照缺额排序，缺额大者优先

queueA

job21

job22 job23

job24 job25

queueB

job31 job32 job33

job34

job35

queueC

支持多队列多用户，每个队列中

的资源量可以配置，同一队列中

的作业公平共享队列中所有资源。

比如有三个队列：queueA、queueB和queueC，每个队列中的job按照优先级分配资源，

优先级越高分配的资源越多，但是每个 job 都会分配到资源以确保公平。

20%资源

50%资源

30%资源

在同一个队列中，job的资源缺额越大，越先获得资源优先执行。作业是按照缺额的

高低来先后执行的，而且可以看到上图有多个作业同时运行。

在资源有限的情况下，每个job理想情况下获得的计算资源与实际获得的计算资源存

在一种差距，这个差距就叫做缺额。

1.2.7 项目经验之 LZO 压缩

Hadoop 默认不支持 LZO 压缩，如果需要支持 LZO 压缩，需要添加 jar 包，并在 hadoop

的 cores-site.xml 文件中添加相关压缩配置。

大数据技术之高频面试题

—————————————————————————————

1.2.8 Hadoop 参数调优

1）在 hdfs-site.xml 文件中配置多目录，最好提前配置好，否则更改目录需要重新启动

集群

2）NameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发

的元数据操作。

dfs.namenode.handler.count=20 * log2(Cluster Size)，比如集群规模为 10 台时，此参数设

置为 60

3）服务器节点上 YARN 可使用的物理内存总量，默认是 8192（MB），注意，如果你

的节点内存资源不够 8GB，则需要调减小这个值，而 YARN 不会智能的探测节点的物理内

存总量。yarn.nodemanager.resource.memory-mb

4）单个任务可申请的最多物理内存量，默认是 8192（MB）。yarn.scheduler.maximum-

allocation-mb

1.2.9 项目经验之基准测试

搭建完 Hadoop 集群后需要对 HDFS 读写性能和 MR 计算能力测试。测试 jar 包在 hadoop

的 share 文件夹下。

1.2.10 Hadoop 宕机

1）如果 MR 造成系统宕机。此时要控制 Yarn 同时运行的任务数，和每个任务申请的最

大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理

内存量，默认是 8192MB）

2）如果写入文件过量造成 NameNode 宕机。那么调高 Kafka 的存储大小，控制从 Kafka

到 HDFS 的写入速度。高峰期的时候用 Kafka 进行缓存，高峰期过去数据同步会自动跟上。

1.2.11 Hadoop 解决数据倾斜方法

1）提前在 map 进行 combine，减少传输的数据量

在 Mapper 加上 combiner 相当于提前进行 reduce，即把一个 Mapper 中的相同 key 进行

了聚合，减少 shuffle 过程中传输的数据量，以及 Reducer 端的计算量。

如果导致数据倾斜的 key 大量分布在不同的 mapper 的时候，这种方法就不是很有效了。

2）导致数据倾斜的 key 大量分布在不同的 mapper

（1）局部聚合加全局聚合。

剩余207页未读，继续阅读

小强签名设计

粉丝: 503
资源: 27

"大数据技术高频面试题详解：项目涉及技术、Linux必备知识"

最新大数据技术之高频面试题.docx

大数据技术高频面试题

大数据技术高频面试题真题

大数据技术之高频面试题.docx

大数据技术之高频面试题.pdf

大数据技术之高频面试题7.zip

大数据技术之高频面试题7.5.pdf

大数据技术之高频面试题8.0.2.pdf

04-大数据技术之高频面试题9.0.5.pdf

00-大数据技术之高频面试题+汇总.pdf

最新资源