CentOS 6.8下Hadoop 3.1.1分布式安装全攻略

本文档是一份详细的CentOS 6.8环境下Hadoop 3.1.1的完全分布式安装教程，适用于希望通过预先配置好的网络环境（如三台虚拟机间的通信畅通、防火墙关闭、SSH免密登录以及主机名调整）来搭建Hadoop集群的读者。以下是安装步骤的概述： 1. **准备工作**：首先，确保系统环境基础设置已完成，包括虚拟机间的连通性、防火墙配置以及必要的文件共享。 2. **文件传输与安装JAVA**： - 创建一个软件安装目录：`mkdir /usr/local/soft` - 使用XFTP将所需的Java安装包（例如`jdk-8u181-linux-x64.tar.gz`）上传到此目录。 - 检查是否已安装Java，如果没有，使用`tar`命令解压安装包。 - 将解压后的JDK重命名为`java`，并将路径添加到环境变量`JAVA_HOME`中，确保`JAVA_HOME/bin`在`PATH`中，并设置`CLASSPATH`以包含核心工具和运行时库。 3. **配置JAVA环境**： - 编辑`etc/profile.d/jdk.sh`文件，添加Java环境变量，然后执行`source`命令使更改生效。 4. **安装Hadoop**： - 下载Hadoop 3.1.1的安装包，解压后重命名。 - 配置Hadoop，重点在于`core-site.xml`文件，这里设置了HDFS的基本配置，如`fs.defaultFS`指定了默认文件系统（HDFS）的URL，以及临时目录路径。 5. **Hadoop配置文件**： - 修改`core-site.xml`以适应分布式环境，包括HDFS地址和临时文件路径。 - 可能还需要配置其他Hadoop配置文件，如`hdfs-site.xml`, `yarn-site.xml`, `mapred-site.xml`等，根据实际需求设置适当的参数。 6. **启动服务**： - 安装完成后，按照Hadoop的启动顺序，依次启动HDFS和YARN服务，确保所有节点的角色（如NameNode, DataNode, ResourceManager, NodeManager等）正常运行。 7. **验证与优化**： - 使用命令行工具检查Hadoop服务的状态，确认集群是否已成功部署和运行。根据需要进行进一步的优化，如调整内存分配、日志监控等。 本文档提供了从基础环境准备到Hadoop安装配置的完整流程，适合希望深入了解和实践Hadoop分布式计算的开发者。在实际操作过程中，务必根据自己的具体环境和需求进行适当的调整。