Hadoop CentOS 6.4 安装教程与SSH配置

本篇文章是关于Hadoop集群在CentOS 6.4环境下进行安装的详细教程，主要针对的是Hadoop 1.1.1版本，且是在VMware虚拟机环境中进行部署。以下是安装步骤和关键配置： 1. **网络设置**： 首先，作者设置了主机名和IP地址映射，通过编辑`/etc/hosts`文件，将三台虚拟机（master: 192.168.20.132, a: 192.168.20.135, b: 192.168.20.136, c: 192.168.20.137）与对应的Hadoop节点（h1, h2, h3）关联起来，便于后续的通信。 2. **用户管理**： 创建一个名为'hadoop'的用户，并设置其密码，这将用于Hadoop服务的运行账号。使用命令`adduser hadoop`和`passwd hadoop`完成。 3. **Java环境配置**： 由于Hadoop依赖于Java环境，因此需要安装JDK 6u38。首先将JDK二进制文件移动到`/usr/java`目录下，然后执行安装脚本，设置JAVA_HOME环境变量指向安装路径，以及CLASSPATH和PATH环境变量以确保Java库路径和可执行文件路径。 4. **SSH密钥对生成**： 为了无密码登录，使用`ssh-keygen`生成公钥和私钥对，将公钥保存在`~/.ssh/id_rsa.pub`，并将私钥添加到Hadoop用户主目录下的`id_rsa`文件中。同时，显示了生成的公钥指纹和随机艺术图像，这是验证SSH连接安全性的信息。 5. **系统重启和SSH配置**： 在完成必要的环境配置后，文章建议重启系统，以使更改生效。接着，配置SSH以允许无密码登录，可能涉及到编辑`/etc/ssh/sshd_config`文件，启用公钥认证。 6. **Hadoop环境变量设置**： 通过`.bashrc`或`.bash_profile`等初始化文件，设置Hadoop相关的环境变量，如JAVA_HOME、CLASSPATH和PATH，这些变量对于Hadoop的运行至关重要。 通过这个教程，读者可以了解到如何在CentOS 6.4上搭建Hadoop 1.1.1集群的基本流程，包括主机名设置、用户创建、Java环境的安装与配置，以及安全的SSH无密码登录。这对于理解Hadoop的安装原理和配置细节十分有帮助。如果需要实际操作，需要在对应的环境中按照步骤一步步进行，确保每一步都正确无误。