CentOs上三节点Hadoop集群搭建详解与SSH免密配置

在CentOS系统下搭建Hadoop集群是一个关键的步骤，涉及到网络配置、用户管理以及安全设置。以下是一步步详细的配置过程： 1. **设置主机名**： 首先，确保每台节点的主机名与其物理位置相对应，以方便管理和识别。在这个例子中，你需要在`/etc/hostname`文件中将三台机器分别命名为hadoop1、hadoop2和hadoop3。同时，编辑`/etc/hosts`文件，移除原有的localhost映射，然后添加IP地址与主机名的对应关系。这样可以确保Hadoop节点之间的互相访问。 2. **创建Hadoop用户组并添加权限**： 创建一个名为`hadoop`的用户组，并为其赋予`root`权限，以便Hadoop服务能够以该用户运行。使用命令`useradd -d /usr/hadoop -g root -m hadoop`来创建用户，`-d`指定了用户的主目录，`-g`指定用户所属的组，`-m`表示创建用户家目录。接着，使用`passwd hadoop`设置用户的初始密码。 3. **设置免密登录**： 为了简化SSH通信，你需要为Hadoop用户生成SSH密钥对，这将允许无密码登录。执行`ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa`命令，这会生成私钥（id_dsa）和公钥（id_dsa.pub）。私钥需要保存在安全的地方，而公钥将被添加到目标机器的`~/.ssh/authorized_keys`中。通过`cat ~/.ssh/id_dsa.pub`查看公钥内容，然后在其他节点的对应文件中添加。 4. **添加公钥到`~/.ssh/authorized_keys`**： 将上一步生成的公钥复制到其他Hadoop节点的`~/.ssh/authorized_keys`文件中，确保`chmod 600 ~/.ssh/authorized_keys`保持权限正确，只允许拥有者和组读写。 5. **配置SSH公钥验证**： 配置完公钥后，当你从一个节点尝试登录到另一个节点时，SSH会自动使用已知的公钥进行验证，无需输入密码，大大提高了集群管理的效率。 6. **网络和文件共享配置**： Hadoop通常依赖于NFS（Network File System）进行数据共享，确保所有节点上的NFS客户端已经安装并配置正确。此外，还需要设置正确的文件系统路径和挂载点，如`/data`或`/hadoop/data`。 7. **安装和配置Hadoop**： 安装Hadoop组件，包括HDFS（Hadoop Distributed File System）和MapReduce，可能需要下载Hadoop源码包或使用包管理器如Yum。然后按照官方文档配置环境变量、配置文件，如`core-site.xml`、`hdfs-site.xml`等，定义HDFS的名称节点、数据节点和MapReduce的jobtracker。 8. **启动和验证Hadoop服务**： 启动Hadoop守护进程，如namenode、datanode、tasktracker等，并检查日志以确保没有错误。可以通过命令`jps`验证Hadoop服务是否正在运行。同时，你可以使用命令`hadoop dfs -ls`测试HDFS的基本功能。 以上步骤是搭建CentOS系统下Hadoop集群的基础配置，实际操作中可能需要根据具体环境调整细节，例如防火墙设置、网络规划等。完成这些步骤后，你的Hadoop集群就基本准备就绪，可以开始进行大数据处理任务了。