CentOS集群配置Hadoop-0.20.2：Namenode与Datanode无密码SSH

"CentOS下Hadoop-0.20.2集群配置文档" 在搭建Hadoop-0.20.2集群的环境中，主要涉及的关键技术点和步骤如下： 1. **集群架构**：该集群由3个节点组成，其中包括1个NameNode作为主节点，负责元数据管理，以及2个DataNode作为数据存储节点。所有节点通过局域网互相连接，且能够互相ping通。 2. **操作系统和用户环境**：所有节点都运行在CentOS操作系统上，并且有一个名为`hadoop`的用户，该用户拥有管理员权限。在每个节点的`/home/hadoop/`目录下，都有一个名为`hadoopinstall`的目录，用于存放Hadoop的安装文件，具体路径为`/home/hadoop/hadoopinstall/hadoop-0.20.2`。 3. **主机名与IP地址**：在`/etc/hosts`文件中，需要为每台机器添加主机名和对应的IP地址，以确保节点间通信的顺利进行。 4. **SSH协议**：Hadoop集群依赖SSH（Secure Shell）进行安全通信。为了实现NameNode无密码登录DataNode，需要在所有节点上安装SSH服务并启动。通过执行特定的命令，确保各节点间可以使用密码进行验证的登录。 5. **SSH无密码登录配置**：这一过程涉及到公钥认证。首先，NameNode节点生成一对密钥（公钥和私钥）。然后，将NameNode的公钥复制到每个DataNode上。当NameNode尝试通过SSH连接DataNode时，DataNode会使用接收到的公钥加密一个随机数并发送回NameNode。NameNode使用私钥解密这个随机数，完成身份验证，无需输入密码。在NameNode上执行`ssh-keygen`命令生成密钥对，并使用`ssh-copy-id`命令将公钥复制到DataNode。 6. **配置Hadoop**：在所有节点上进行Hadoop的配置，主要包括修改`core-site.xml`（设置默认FS），`hdfs-site.xml`（设置NameNode和DataNode的相关参数），`mapred-site.xml`（配置MapReduce框架），以及`slaves`文件（列出DataNode节点列表）。 7. **格式化NameNode**：在初次设置时，需要对NameNode进行格式化，以初始化HDFS的元数据。 8. **启动Hadoop服务**：在NameNode节点上启动Hadoop服务，包括`hadoop-daemon.sh start namenode`，然后在每个DataNode上启动DataNode服务，如`hadoop-daemon.sh start datanode`。还需要启动Secondary NameNode，以辅助NameNode进行周期性的检查点操作。 9. **测试集群**：启动Hadoop后，可以通过`jps`命令查看各个节点上的守护进程是否正常运行。同时，可以使用`hadoop fs -ls`命令测试HDFS的读写功能，以及`jobclient`测试MapReduce作业提交。 10. **故障排查与监控**：在集群运行过程中，需要监控日志文件以检测潜在问题，同时，可以通过Web UI（默认端口50070和50030）来监控NameNode和JobTracker的状态。 以上就是CentOS下Hadoop-0.20.2集群配置的主要步骤和技术要点。配置过程中需要注意文件权限、环境变量的设置，以及网络通信的畅通。此外，保持软件版本的一致性和及时更新是保证集群稳定运行的关键。