CDH4 Hadoop-2.0.0与HBase-0.94.15 HA安装指南

该文档是关于Hadoop-2.0.0-cdh4.3.0版本的高可用性(HA)安装指南，特别强调了HBase-0.94.15-cdh4.6.0的安装过程。这份手册由李昊龙在2013年和2014年进行更新，包含了从环境准备到程序安装，再到程序启动的详细步骤。 在环境准备部分，主要包括以下环节： 1. 主机配置：列举了四台主机的IP地址、HOSTNAME以及部署的模块，例如namenode1和namenode2作为NameNode和ResourceManager的角色，datanode1作为DataNode和JournalNode的角色。 2. 用户设置：虽然没有具体描述，但在安装Hadoop时通常需要一个非root用户来执行操作，例如hadoop或hdfs用户。 3. 程序包：提到了需要解压和安装的软件包，包括zookeeper、hadoop和hbase。 4. hosts配置：确保所有主机之间可以通过hostname互相访问，这对于集群通信至关重要。 5. SSH互信：在所有节点间建立无密码SSH登录，以简化远程命令执行。 6. 基础环境：可能包括Java环境的安装和其他系统级别的配置。 在程序安装阶段，主要步骤有： 1. ZooKeeper安装：包括解压、配置zoo.cfg、创建myid文件、配置环境变量以及进行基本的测试。 2. Hadoop安装：涉及解压、配置多个核心配置文件如core-site.xml（定义Hadoop的通用配置）、hdfs-site.xml（定义HDFS的配置）、mapred-site.xml（定义MapReduce框架配置）和yarn-site.xml（定义YARN配置），以及配置slaves文件（列出工作节点）、journalnode.sh脚本，最后分发程序文件并配置环境变量。 在程序启动环节： 1. 启动Zookeeper：这是Hadoop HA的前提，用于协调集群状态。 2. 启动HDFS：包括NameNode、JournalNode和DataNode，确保分布式文件系统的运行。 3. 启动YARN：启动ResourceManager、NodeManager等组件，以支持MapReduce任务的调度和执行。 该文档旨在指导用户如何在CDH4环境下搭建Hadoop和HBase的HA集群，以提供高可用性和容错性，确保数据的安全性和服务的连续性。安装过程中需要注意各个组件之间的依赖关系和配置一致性，以及正确配置HA的关键组件，如Zookeeper和NameNode的Failover Controller。此外，对于HBase的安装，还涉及到HMaster和HRegionServer的部署和配置。