Hadoop 0.20.2 CDH3u5 安装与配置教程：三节点部署与SSH密钥管理

本篇文档详细介绍了如何在3台机器（master: a1，slave1: a2，slave2: a3）上安装和配置Hadoop集群，包括系统环境设置、JDK的安装与配置、Hadoop的安装、以及必要的配置文件修改。 1. 网络配置： 首先，修改了 `/etc/hosts` 文件，将三台机器的IP地址映射为便于识别的主机名：a1作为master，a2和a3作为slave。 2. 用户与权限： 创建了一个名为 `hadoop` 的新用户，并设置了其密码为 `123`。之后，通过命令行调整了JDK的安装路径和环境变量，确保所有机器上的JDK版本为1.7.0_25。 3. JDK安装： 使用 `chmod` 命令赋予JDK安装文件可执行权限，然后运行安装程序，并将其安装目录添加到系统的环境变量中，如 `JAVA_HOME` 和 `PATH`。 4. Hadoop安装： 解压并安装Hadoop 0.20.2-cdh3u5版本到 `/usr/local`，然后进入配置文件目录进行编辑。对`hadoop-env.sh`进行了修改，设置`JAVA_HOME`；对`core-site.xml` 设置了namenode的URL，`hdfs-site.xml` 设置了数据副本数为2；`mapred-site.xml` 中配置了jobtracker的端口。 5. 配置文件编辑： 分别在 `masters` 和 `slaves` 文件中，更新了master和slave节点的主机名。然后将Hadoop配置文件复制到其他两台slave机器上，并将文件权限设置为hadoop用户。 6. SSH密钥对生成与共享： 在每台机器上为hadoop用户生成SSH密钥对，并使用 `ssh-copy-id` 命令在所有节点之间复制公钥，以实现无密码登录。 7. 格式化namenode和启动Hadoop： 在master节点上执行namenode的格式化操作，然后启动所有Hadoop服务，通过`jps`命令验证进程已成功启动。 通过以上步骤，成功地在3台机器上搭建了一个基本的Hadoop分布式环境，包括了名称节点、数据节点和任务跟踪器的配置。这对于理解和实践Hadoop的分布式计算模型非常有帮助，同时也展示了如何在实际环境中管理和配置Hadoop集群。