Ubuntu环境下Hadoop+HBase+Zookeeper集群配置实战

本文档提供了一个Hadoop集群的安装和配置指南，特别强调了Hadoop 2.2.0、HBase 0.96和Hive 0.13的组合是最佳选择。在Ubuntu 10.04.2 Desktop环境下，使用了Hadoop 0.20.2、HBase 0.20.6、Zookeeper 3.3.3和JDK 1.6.0.24。集群由三台机器组成，其中一台同时扮演了多种角色，包括Namenode、SecondaryNameNode、HMaster、HQuorumPeer和HRegionServer。 集群配置步骤如下： 1. 配置环境：首先确保所有机器的`/etc/hosts`文件中包含了所有节点的IP和主机名映射。例如，将192.168.9.128映射为ubuntu，192.168.9.131映射为test1，192.168.9.132映射为test2。 2. 安装Hadoop：按照Hadoop集群部署手册进行安装，这通常包括解压缩Hadoop软件包，配置环境变量，以及在所有节点上分发和同步配置文件。 3. 安装HBase：使用`tar`命令解压HBase的安装包，然后在所有节点上进行相同的操作。HBase的配置文件包括`hbase-site.xml`、`hbase-default.xml`和`hbase-env.sh`。 - hbase-site.xml：在这个文件中，设置`hbase.rootdir`参数，确保它与Hadoop的`core-site.xml`中的`fs.default.name`一致，指示HBase的数据存储位置。例如，设置为`hdfs://ubuntu:54310/hbase`。同时，`Hbase.zookeeper.quorum`的值应为奇数，这里指的是Zookeeper服务器的数量。 4. 配置Zookeeper：Zookeeper在HBase中起到协调和管理的作用，确保每个节点的Zookeeper配置正确，并且集群中的Zookeeper服务器数量为奇数，以保证选举的稳定性。 5. 启动和测试集群：启动Hadoop的DataNode、NameNode、SecondaryNameNode等服务，接着启动HBase的HMaster、HRegionServer等组件。然后可以通过HBase的Shell或者Web界面检查集群是否正常运行。 6. 安装Hive：在配置好Hadoop和HBase的基础上，安装Hive 0.13，同样需要配置`hive-site.xml`以连接到已有的Hadoop和HBase环境。确保`metastore.uris`指向Hive元数据存储的位置，而`hive.hbase.mapred.mode`设置为非严格模式，以便Hive能与HBase交互。 7. 优化和监控：根据实际需求调整Hadoop和HBase的配置参数，如内存分配、数据块大小等。同时，设置日志监控和性能监控工具，以便于问题排查和性能调优。 这个配置方案适用于学习和小型项目，但对于大规模生产环境，可能需要考虑更高级的版本和更复杂的架构，例如YARN作为资源管理器，以及更高级的HBase和Hadoop版本。