Hadoop 2.7.1 安装教程：从CentOS到High Availability

"该文档是关于Hadoop 2.7.1在CentOS 6.4上的详细安装手册，涵盖了从系统安装、JDK配置、Hadoop编译、Zookeeper、高可用性设置、Sqoop、MySQL、HBase和Hive的安装过程，以及集群规划。" 在安装Hadoop之前，首先需要准备以下资源： 1. Hadoop 2.7.1的安装包：hadoop-2.7.1.tar.gz 2. JDK 1.8：这里推荐使用的是jdk-8u45-linux-x64.rpm 3. CentOS 6.4的安装包 安装流程如下： 2.1 安装CentOS-6.4系统： - 下载64位CentOS-6.4-x86_64-bin-DVD1.iso镜像，刻录成安装光盘。 - 使用光盘启动计算机，按照引导界面进行安装，包括网络设置、分区格式化和引导程序安装位置等。 2.2 安装JDK 1.8： - 在CentOS上安装JDK，可以使用命令行工具执行rpm命令进行安装。 2.3 配置环境变量： - 安装完成后，需要将JDK的路径添加到系统的PATH环境变量中，确保系统可以找到JDK。 2.4 编译Hadoop 2.7.1（如果使用64位系统）： - 解压hadoop-2.7.1.tar.gz到指定目录。 - 如果需要在64位系统上运行，可能需要编译源代码，确保兼容性。 2.5 安装Zookeeper： - 单机或集群安装Zookeeper，它是Hadoop HA中的重要组件，用于协调服务状态。 2.6 关闭Linux防火墙： - 为了方便Hadoop服务间的通信，通常需要关闭或配置防火墙规则。 2.7 安装已编译好的Hadoop： - 解压缩并配置Hadoop，包括修改配置文件如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等。 2.8 高可用性设置： - 可以配置Hadoop的高可用性，例如通过Quorum Journal Manager (QJM) 或 High Availability with NFS。 2.9 验证Hadoop安装： - 启动Hadoop守护进程，如namenode、datanode、resourcemanager、nodemanager等，并运行测试命令，如`hadoop fs -ls /`。 2.10 安装其他组件： - Sqoop：数据导入导出工具，需要编译安装。 - MySQL：作为Hadoop生态系统中的数据存储。 - HBase：分布式列式数据库，适用于大数据实时查询。 - Hive：基于Hadoop的数据仓库工具，提供SQL接口进行数据分析。 集群规划涉及多个节点，每个节点都有特定的角色，例如： - hadoop01、hadoop02等作为Hadoop和Zookeeper的节点，同时运行DFSZKFailoverController，用于HA。 - zookeeper节点：172.16.112.118、172.16.112.119和172.16.112.116、172.16.112.117，运行QuorumPeerMain，构成Zookeeper集群。 在安装过程中，需要确保所有节点间的网络连通性，配置文件的一致性，以及正确设置各个服务的启动和停止脚本。此外，还要关注日志文件，以便在出现问题时进行调试和解决。