CentOS6.5环境下Hadoop2.6.4集群配置全攻略

"本文档主要介绍了如何在CentOS6.5环境下搭建Hadoop2.6.4集群，包括配置服务器、设置SSH无密码访问以及安装和配置Hadoop的步骤。" 在构建Hadoop集群的过程中，首先需要对服务器进行基础配置。在本案例中，我们有1个主节点（master，IP地址192.168.15.128）和2个从节点（slaver1，IP地址192.168.15.129；slaver2，IP地址192.168.15.130）。每个节点都需要设置hostname，这可以通过编辑`/etc/sysconfig/network`文件来实现。例如，在主节点上，添加`NETWORKING=yes`和`HOSTNAME=master`，同样在从节点上设置相应的hostname。 接下来，为了确保集群内的通信，需要配置`hosts`文件。在主节点上，打开`/etc/hosts`文件，添加所有节点的IP地址和hostname。然后，通过`scp`命令将主节点的`hosts`文件复制到其他子节点，并在每个节点上执行`/bin/hostsname`命令使更改生效。 配置SSH无密码访问是集群搭建的关键步骤，因为它允许节点间无需输入密码即可相互信任。首先，使用`ssh-keygen -t rsa`命令在每个节点上生成RSA密钥对。这会在`~/.ssh/`目录下创建`id_rsa`（私钥）和`id_rsa.pub`（公钥）文件。然后，将从节点的公钥拷贝到主节点的`~/.ssh/authorized_keys`文件中，以允许无密码登录。这可以通过`scp`命令完成，如`scp ~/.ssh/id_rsa.pub root@master:~/.ssh/id_rsa_slaver1.pub`。 在完成这些基础配置后，接下来是安装Java开发工具包（JDK），因为Hadoop依赖于Java环境。在每个节点上，可以下载并安装JDK的rpm包，然后设置`JAVA_HOME`环境变量，使其指向JDK的安装路径。 安装Hadoop涉及解压Hadoop二进制包到指定目录（例如`/usr/local/hadoop`），配置Hadoop的相关配置文件，如`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`。在这些文件中，需要设置Hadoop的路径、内存分配、数据节点和名称节点等参数。 在配置完成后，需要格式化HDFS，启动Hadoop服务，包括DataNodes、NameNodes、TaskTrackers、JobTrackers和YARN组件。可以通过`start-dfs.sh`和`start-yarn.sh`脚本来启动这些服务。同时，确保防火墙设置允许必要的端口通信。 为了验证Hadoop集群是否正常运行，可以尝试上传一个文件到HDFS，使用`hadoop fs -put`命令，然后使用`hadoop fs -ls`检查文件是否成功上传。此外，可以通过Hadoop的Web界面（默认端口50070和8088）监控集群状态。 搭建Hadoop集群是一个涉及多步骤的过程，包括服务器配置、SSH无密码访问设置、JDK安装、Hadoop配置和启动。每个步骤都至关重要，需要仔细操作以确保集群的稳定运行。