Hadoop 2.7.1平台搭建教程：无密码SSH与集群设置

本文档主要介绍了如何在Hadoop 2.7.1平台上进行基础搭建，涵盖了从环境准备到配置无密码SSH登录的关键步骤。以下是详细的步骤和知识点： 1. Hadoop源码与安装包获取： 首先，访问Apache Hadoop官网(<http://hadoop.apache.org/>)下载Hadoop 2.7.1的源码和安装包。确保下载的是适合你系统版本的版本。 2. 主机名与IP映射： 修改主机名并添加集群中其他节点的IP映射，这是为了正确识别各节点角色。在`/etc/hosts`文件中，你需要将每个节点的名称与相应的IP地址关联起来。 3. 无密码SSH登录配置： - 创建新用户`hadoop`，并为该用户设置密码。 - 在`/etc/ssh/sshd_config`文件中，取消对RSA和PubkeyAuthentication的启用，只保留PasswordAuthentication。 - 使用`hadoop`用户生成SSH密钥对，并将公钥复制到`authorized_keys`文件。 - 通过`scp`命令将公钥从master机器上传到slave机器的`authorized_keys`中。 - 在slave机器上，确认公钥已添加到`authorized_keys`中。 4. 添加Hadoop用户： 在master机器上，通过`adduser`命令为`hadoop`用户添加权限，查看可用的用户管理工具，如`lrwxrwxrwx.1 root root 71 Oct 30 17:09 adduser -> useradd`，这表明`adduser`实际上指向了`useradd`命令。 5. 启动和使用Hadoop： 完成上述配置后，重启SSH服务，然后使用`hadoop`用户登录到各个节点，开始Hadoop的安装和配置过程。通常会涉及到配置核心的Hadoop配置文件（如`core-site.xml`, `hdfs-site.xml`, `mapred-site.xml`等），以及Hadoop守护进程的启动（如`start-dfs.sh`和`start-yarn.sh`）。 6. 注意事项： - 确保网络环境畅通，包括防火墙设置，以便Hadoop节点间的通信。 - 在实际操作中，可能还需要根据Hadoop的最佳实践和你的具体需求进行定制，例如调整内存分配、数据存储路径等。 这个指南提供了一个基础的Hadoop 2.7.1集群搭建流程，适合初学者入门或进行小规模部署。在大型生产环境中，可能还需要考虑更多的集群管理工具和安全措施。