![](https://csdnimg.cn/release/download_crawler_static/86139305/bg1.jpg)
Hadoop 集群搭建与编程-分布式模式
作者 : maple 日期 : 2011/06/26 发表评论 (0) 查看评论
前文简单介绍了伪分布式模式搭建 hadoop 集群的过程,这种方式有利于本地开发和调试,但只
有分布式模式才能发挥 hadoop 的优势。本文接下来介绍 hadoop 分布式模式环境的搭建。
主参考文章: Hadoop 分布式安装。
准备工作
Hadoop 要求集群中的机器是同构的。为了避免意外,我们应该保证:
集群的机器能够互相访问(尤其是处理好 iptables );
集群的机器使用相同的用户名 (最好是新建一个 hadoop 用户 )
集群的机器中 hadoop 根目录相同
集群的机器需要安装版本一致的 jdk( 5.0 以上 ),并配置好 JAVA_HOME 环境变量
满足这些条件后,我们假设这些机器是:
# NO. IP HOSTNAME
(1) 192.168.1.1 hadoop-test1 # 作为 Namenode, JobTracker, SecondaryNameNode
(2) 192.168.1.2 hadoop-test2 # 作为 Datanode, TaskTracker
(3) 192.168.1.3 hadoop-test3 # 作为 Datanode, TaskTracker
各台机器的用户同为 maple ,hadoop 根目录为: /home/maple/hadoop/hadoop/
机器环境配置完成后,就可以开工啦 ~
配置
首先,需要配置各个机器间的相互访问:
1、按照上面的设置修改各台机器的 host 文件和 hostname 文件,保证机器可正常通信。如 1
号机器上的 hosts 文件(相关部分)为:
127.0.0.1 localhost
192.168.1.1 hadoop-test1
192.168.1.2 hadoop-test2
192.168.1.3 hadoop-test3
2、配置 ssh 的自动登陆 (在 1 号机器上 ):
$ ssh-keygen -t dsa - P ” -f ~/.ssh/id_dsa
完成后会在 ~/.ssh/ 生成两个文件: id_dsa 和 id_dsa.pub 。
再把 id_dsa.pub 追加到授权 key 里面 (当前并没有 authorized_keys 文件 ):