大数据面试精华：HDFS与Hadoop基础知识

本文档是一份关于大数据面试题目的参考资料，主要针对Hadoop生态系统及其组件进行提问。以下是部分内容提炼的知识点： 1. 单项选择题： - 问题1：HDFS（Hadoop Distributed File System）的数据存储主要由DataNode负责，选项c)正确。 - 问题2：HDFS中的每个block默认保存3份副本，选项a)是正确答案。 - 问题3：NameNode通常与Jobtracker一起在一个节点启动，以协调任务调度，选项d)正确。 - 问题4：Hadoop的共同创始人是Doug Cutting，选项c)是正确答案。 - 问题5：HDFS的默认block size是128MB，选项c)符合题意。 - 问题6：在Hadoop集群中，由于数据复制策略，磁盘通常是最主要的瓶颈，选项c)是答案。 - 问题7：SecondaryNameNode的主要功能是帮助NameNode合并编辑日志，以减少启动时间，选项c)正确。 2. 多选题： - 问题8：常见的集群管理工具包括Puppet、ClouderaManager等，选项a)和c)都正确。 - 问题9：配置机架感知可以实现数据冗余和负载均衡，写入数据时会分布到不同机架，选项b)正确。 - 问题10：客户端上传文件时，文件会被切分为Block并分别上传至DataNode，选项b)正确。 - 问题11：Hadoop的运行模式有单机版、伪分布式和分布式，选项a)、b)和c)都有可能存在。 - 问题12：Cloudera提供了多种安装CDH（Cloudera Distribution Hadoop）的方式，如Cloudera Manager、tarball、yum和rpm，选项abc)都正确。 3. 判断题： - 问题13：Ganglia是一个开源的监控系统，确实可以进行监控和告警，表述正确。 - 问题14：虽然默认情况下，HDFS的block size是固定的，但不是绝对不能修改，这取决于特定需求和配置。 - 问题15：Nagios本身不直接支持Hadoop，但可以通过第三方插件来监控Hadoop集群，表述错误。 - 问题16：如果NameNode意外终止，DataNode和SecondaryNameNode会自动接管，但可能需要人工干预恢复服务，表述不完全准确，因为Hadoop有容错机制。 这份文档涵盖了Hadoop的基本概念、架构、组件功能以及相关的运维管理工具，是准备大数据领域面试的重要参考材料。对于面试者来说，理解和掌握这些问题背后的原理和实践经验至关重要。