Centos 6.4下搭建Hadoop 2.2.0完全分布式集群

Centos 6.4 下搭建 Hadoop 2.2.0 完全分布式集群说明文档

I

目 录

0 准备工作....................................................................................................................................... 1

0.1 前提条件 ............................................................................................................................ 1

0.2 Hadoop 分布式前期准备工作 .......................................................................................... 1

1 Centos 6.4 下安装 JAVA .............................................................................................................. 3

1.1 卸载自带 OPENJDK ........................................................................................................ 3

2.2.3 让主节点能通过 ssh 无密码登陆各个子节点 .................................................... 15

3 安装 Hadoop .............................................................................................................................. 17

3.1 下载并解压 ...................................................................................................................... 17

3.2 编译 Hadoop ................................................................................................................... 17

3.2.1 安装基本应用程序（此步骤要求联公网） ....................................................... 18

3.2.2 安装 maven ........................................................................................................... 18

3.2.3 安装 protobuf（不安装，编译将无法完全） .................................................... 19

3.2.4 编译 Hadoop-2.2.0 ................................................................................................ 19

3.2.5 Master 上操作 ........................................................................................................ 21

Centos 6.4 下搭建 Hadoop 2.2.0 完全分布式集群说明文档

II

3.3 配置 Hadoop 的环境变量 .............................................................................................. 22

3.4.6 修改 mapred-site.xml ............................................................................................ 27

3.4.7 修改 slaves 文件 ................................................................................................... 28

3.5 复制 hadoop-2.2.0 文件夹到另外的三个节点下 .......................................................... 28

3.6 启动 Hadoop ................................................................................................................... 28

4 测试运行..................................................................................................................................... 29

5 问题 ............................................................................................................................................ 30

5.1 程序版本问题 .................................................................................................................. 30

5.2 Hadoop 2.2.0 遇到 NativeLibraries 错误的解决过程 .................................................. 36

Centos 6.4 下搭建 Hadoop 2.2.0 完全分布式集群说明文档

1

(1) 在每台 Linux 电脑上安装 JDK6 或其以上版本，并设置好 JAVA_HOME 等，测试一下

(2) 在每台 Linux 电脑上安装好 SSH，并配置 SSH 无密码登陆；

0.2 Hadoop 分布式前期准备工作

(3) 准备 4 个虚拟机节点，并重命名主机名

其实这一步骤非常简单，如果你已经完成了第 2 步，此时你已经准备好了第一个虚拟节

点，那第二个和第三个虚拟机节点如何准备？可能你已经想明白了，你可以按第 2 步的方

法，再分别安装三遍 Linux 系统，就分别实现了第二、三、四个虚拟机节点。不过这个过程

估计会让你很崩溃，其实还有一个更简单的方法，就是复制和粘贴，没错，就是在你刚安装

好的第一个虚拟机节点，将整个系统目录进行复制，形成后面的三个虚拟机节点。

很多人也许会问，这四个结点有什么用，原理很简单，按照 Hadoop 集群的基本要求，

其中一个是 master 结点，主要是用于运行 Hadoop 程序中的 namenode、secondorynamenode

和 jobtracker 任务。用外三个结点均为 slave 结点，其中一个是用于冗余目的，如果没有冗

余，就不能称之为 Hadoop 了，所以模拟 Hadoop 集群至少要有 3 个结点，如果电脑配置非

Centos 6.4 下搭建 Hadoop 2.2.0 完全分布式集群说明文档

2

所以，在准备好这 4 个结点之后，需要分别将 linux 系统的主机名重命名（因为前面是

hostname

(4) 静态 IP 地址设置步骤如下（如果不设置静态可以用自动分配的 IP）

里面的 IPADDR 地址设置你想要的，我这里是 192.168.142.139。

设置好后，需要让 IP 地址生效，运行下面命令：

然后运行 ifconfig 检验一下设置是否生效：

Centos 6.4 下搭建 Hadoop 2.2.0 完全分布式集群说明文档

3

(5) 在以上四台电脑的/etc/hosts 添加以下配置

其实就是上面三台电脑的静态 IP 地址和其 hostname 的对应关系。检验是否修改生效，可以

一般情况下，我们需要将自带的 OPENJDK 卸载掉，然后安装 SUN 的 JDK。