Hadoop基础面试必备知识点：从HDFS到YARN

"这份资源主要涵盖了Hadoop基础知识的面试题，包括Hadoop的分布式文件系统HDFS、YARN以及MapReduce的相关概念和工作流程，同时也涉及到了Hadoop的高可用性和联邦特性，还有Hive和HBase等其他组件的提及。" 在Hadoop的基础面试中，以下是一些重要的知识点： 1. 大数据的四个特征：大量化、多样化、快速化和价值密度低。这些特征定义了大数据的基本属性，即数据的规模、来源、处理速度以及需要挖掘的价值。 2. 分布式文件系统（Distributed FileSystem）是Hadoop的核心组成部分，它允许数据在分布式计算环境中跨多个节点存储和访问。 3. HDFS的优点：高容错性，通过数据复制实现故障恢复；支持大规模数据处理；可以在低成本硬件上构建，提供高可靠性。 4. HDFS的缺点：不适用于低延迟数据访问；小文件存取效率低；不支持并发写入和文件的随机修改。 5. HDFS的设计思想基于Google的GFS，强调数据的可靠性和处理速度，而非响应时间。 6. HDFS的核心是NameNode和DataNode，它们分别负责元数据管理和数据存储。 7. HDFS架构由客户端（HDFSClient）、NameNode、SecondaryNameNode和DataNode组成。客户端用于与HDFS交互，NameNode管理文件系统的元数据，SecondaryNameNode协助NameNode定期合并元数据，DataNode存储实际的数据块。 8. NameNode的作用是维护文件系统的命名空间和文件数据块映射信息，处理客户端的元数据请求。 9. DataNode负责存储数据块，并响应NameNode和客户端的数据读写请求。 10. SecondaryNameNode不是NameNode的热备，而是帮助NameNode周期性地合并元数据，减轻NameNode的压力。 11. 搭建HDFS环境通常涉及配置集群参数、格式化NameNode、启动相关服务等步骤。 12. HDFS写数据流程包括客户端将数据切分成块、上传到DataNode，并在NameNode上记录元数据。 13. HDFS读数据流程通常是从NameNode获取数据块位置，然后从最近或最健康的DataNode读取。 14. HDFSHA（High Availability）解决了NameNode的单点故障问题，确保即使NameNode失效，集群仍能继续运行。 15. HDFSFederation引入多个NameNode，解决了单个NameNode的内存限制问题，实现了水平扩展。 16. HDFSSnapshots提供了数据快照功能，用于备份和灾难恢复，防止意外数据丢失。 17. YARN（Yet Another Resource Negotiator）是Hadoop的资源管理系统，由ResourceManager、NodeManager、ApplicationMaster和Container组成。 18. ResourceManager是YARN的核心，负责调度资源、管理ApplicationMaster和NodeManager。 19. NodeManager是每个节点的守护进程，负责本节点的资源管理和任务执行。 20. ApplicationMaster负责应用程序的资源申请、任务调度和监控。 21. Container是YARN中的资源抽象，代表了节点上的一定量的计算和内存资源。 22. YARN执行流程包括应用程序提交、ResourceManager分配Container、ApplicationMaster与NodeManager通信执行任务等步骤。 23. YARN环境搭建通常需要配置hadoop-site.xml、core-site.xml、yarn-site.xml等配置文件。 24. MapReduce是Hadoop的计算框架，通过“Map”阶段进行数据的预处理和分区，然后在“Reduce”阶段进行聚合和结果生成。 以上是Hadoop基础面试题中涵盖的主要知识点，这些内容对于理解和操作Hadoop分布式系统至关重要。