Hadoop相关知识点总结

Hadoop题库.pdf Hadoop是大数据处理的核心技术之一，本资源摘要信息涵盖了Hadoop的基本概念、HDFS、MapReduce、HBase等方面的知识点。 Hadoop概述 Hadoop是一款开源的大数据处理框架，由 Doug Cutting 和 Mike Cafarella 于2005年开发。Hadoop的作者是Doug Cutting。 Hadoop可以运行在三种模式下：单机（本地）模式、伪分布式模式和分布式模式。其中，分布式模式是Hadoop的主要应用场景。 HDFS HDFS（Hadoop Distributed File System）是Hadoop的分布式文件系统。HDFS的默认BlockSize为64MB或128MB。HDFS是基于流数据模式访问和处理超大文件的需求而开发的，具有高容错、高可靠性、高可扩展性、高吞吐率等特征，适合的读写任务是一次写入，多次读。 MapReduce MapReduce是一种计算框架，来源于Google的学术论文。MapReduce程序不仅限于使用Java语言编写，其他语言也可以使用MapReduce。MapReduce隐藏了并行计算的细节，方便使用。 HBase HBase是Hadoop的分布式数据库，依靠HDFS存储底层数据。HBase依赖MapReduce提供强大的计算能力，依赖Zookeeper提供消息通信机制。 Hadoop的特点 Hadoop的特点包括：巨大的数据量、多结构化数据、增长速度快等。但是，Hadoop不包括实时性强、低延迟等特点。 SecondaryNameNode SecondaryNameNode是NameNode的辅助节点，目的是帮助NameNode合并编辑日志，减少NameNode启动时间。SecondaryNameNode不需要与NameNode部署到一个节点。 GFS GFS（Google File System）是Google开发的分布式文件系统，类似于HDFS。GFS是为了满足Google的搜索引擎需求而开发的，具有高可靠性、高可扩展性等特征。 本资源摘要信息涵盖了Hadoop的基本概念、HDFS、MapReduce、HBase等方面的知识点，为大数据处理提供了有价值的参考。