5台机器Hadoop集群安装全攻略

"本文档详细介绍了在5台机器上搭建Hadoop集群的完整步骤，包括配置hosts文件、检查环境、创建用户、配置vnc和ssh服务、设置namenode的jdk和Hadoop、部署datanode、启动Hadoop HDFS以及进行Hadoop相关操作和测试。" 在构建Hadoop集群时，首先需要对硬件资源进行规划和分配。在这个例子中，我们有5台虚拟机，每台都有特定的IP地址和主机名，如BigData01.crl.ibm.com到BigData05.crl.ibm.com。其中，9.186.89.27被指定为namenode，其余4台作为datanodes。 1. **配置hosts文件**：在所有机器上，都需要编辑`/etc/hosts`文件，将所有节点的IP地址和主机名对应关系写入，以便于节点间相互通信。例如，将如下条目添加到每个节点的hosts文件中： ``` 9.186.89.27 BigData05.crl.ibm.com 9.186.89.29 BigData04.crl.ibm.com 9.186.89.31 BigData03.crl.ibm.com 9.186.89.33 BigData02.crl.ibm.com 9.186.89.34 BigData01.crl.ibm.com ``` 2. **检查环境**：确保所有机器都安装了必要的基础软件，比如Java Development Kit (JDK)。Hadoop需要JDK 8或更高版本才能运行。 3. **创建用户**：为了管理Hadoop，通常会创建一个专门的用户，如`hadoop`，并将其加入适当的用户组，如`hadoopgroup`。然后，切换到这个用户进行后续的安装和配置。 4. **配置vnc服务**：vnc服务允许远程图形界面访问，对于调试和监控很有用。在所有节点上安装并配置vnc服务器，确保可以从一台主节点远程控制其他节点。 5. **配置ssh服务**：设置无密码ssh登录，使用`ssh-keygen`生成公钥和私钥，然后将公钥复制到所有其他节点的`~/.ssh/authorized_keys`文件中，实现ssh免密登录。 6. **配置namenode的JDK**：安装并配置JDK，确保Hadoop运行所需的环境变量如`JAVA_HOME`指向正确的JDK路径。 7. **配置namenode的Hadoop**：下载Hadoop的相应发行版，解压后配置`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`和`mapred-site.xml`等配置文件，指定namenode和datanode的相关参数。 8. **部署远程datanode**：在datanode机器上配置相应的Hadoop环境，将namenode的配置文件分发过去，并根据需要调整自己的`hdfs-site.xml`。 9. **启动Hadoop**：在namenode节点上启动Hadoop的各个服务，包括DataNode、NameNode、ResourceManager、NodeManager等。在datanode节点上启动DataNode和NodeManager。 10. **HDFS操作**：使用Hadoop的命令行工具，如`hdfs dfs`，进行文件系统的基本操作，如上传、下载、查看文件等，以确保HDFS工作正常。 11. **Hadoop的jar命令测试**：编写简单的MapReduce程序，打包成jar文件，通过`hadoop jar`命令在集群上运行，验证Hadoop的MapReduce功能。 12. **本地安装eclipse插件测试**：为了方便开发和调试，可以在开发机器上安装支持Hadoop的Eclipse插件，如Hadoop插件，创建MapReduce项目并进行测试。 以上步骤完成后，一个基本的Hadoop集群就搭建完成了，可以进行大数据处理任务。在整个过程中，要注意节点间的通信、防火墙设置以及日志监控，确保集群稳定运行。