Apache Hadoop 2.9.1 集群部署教程: 包含Hive, Kafka, Spark与Zookeeper

本文档详细介绍了如何在CentOS 7环境下安装和配置一个基于Apache Hadoop 2.9.1、Hive 2.3.4、Kafka 0.10.2.2、Spark 2.2.2以及Zookeeper 3.4.9的原生态集群。首先，作者提到使用的是Java 1.8和Scala 2.11.12版本，并且在五台虚拟机上进行部署，IP地址分别为192.168.0.105到192.168.0.109。 在角色规划中，每台机器承担不同的职责： - hadoop01：作为活动NameNode，同时运行ZKFC（ZooKeeper Failover Controller）、Kafka服务器、Master节点、ResourceManager和JobHistoryServer。 - hadoop02：备用NameNode，ZKFC、Kafka、ResourceManager和Worker节点。 - hadoop03、hadoop04和hadoop05：作为DataNode，同时负责JournalNode、QuorumPeerMain、NodeManager、Kafka和Worker角色。 安装完成后，对虚拟机进行了重启操作，确保系统设置正确。配置网络方面，通过编辑`/etc/sysconfig/network-scripts/ifcfg-ens33`文件，设置了静态IP（192.168.0.105），子网掩码为24，网关为192.168.0.1，DNS服务器设置为144.144.144.144和8.8.8。这些步骤对于集群的正常通信至关重要，确保了节点间的网络连通性。 整个过程包括了基础环境的搭建，如操作系统的选择、依赖组件的安装，以及关键服务的角色分配和网络配置，都是为了构建一个高效稳定的分布式计算环境。对于想要学习或实践Hadoop集群的人来说，这是一个非常实用的指南，涵盖了从零开始安装和部署的全过程。在实际操作时，需要注意根据实际需求调整配置，并进行安全性和性能优化。