Hadoop2.2.0集群在集群在RHEL6.2下的安装实战下的安装实战
题记
本文介绍了一个Hadoop2.2.0集群的搭建过程,在2台4G内存的酷睿双核PC机上,使用VMWare WorkStation虚拟了4个
RHEL6.2(1G内存、单核CPU、10G硬盘),总计用10个小时的时间,完成虚拟机制作和Hadoop建立过程,总体比较顺利。
本次集群搭建过程中,主要遇到三个问题:
(1)第一个是:DataNode启动了(使用jps可以看到进程),但是在NameNode中看不到(192.168.1.10:50070),花费大
约3个小时时间查问题,根据logs目录的日志“org.apache.hadoop.ipc.Client: Retrying connect to server:
master/192.168.1.10:9000”,到百度搜索,有人遇到说是防火墙没关的问题,但是我的防火墙都关了。最后多种方式尝试,原
来是/etc/hosts中,对于master除了对应到192.168.1.10之外,我还对应到了127.0.0.1,去掉之后,重新启动,就都好了。
(2)第二个是:常见问题,多次format namecode造成的DataNode不启动,删除/home/hadoop/dfs/data/current/VERSION
就好了。
(3)第三个是:进入安全模式,不退出,开始我是手工退出,hadoop fs -safemode leave,后来使用hdfs fsck /,发现坏块
比例较大,70+%(机器硬盘好多年了,估计坏道较多,也可能是强制关机,一些任务异常导致),然后强制清理了一下 hdfs
fsck / -delete,重启hadoop,就会自动离开安全模式了。
(4)多看日志,总能解决
Hadoop是什么
Hadoop是Lucene创始人Doug Cutting,根据Google的相关内容山寨出来的分布式文件系统和对海量数据进行分析计算的基础
框架系统,其中包含MapReduce程序,hdfs系统等。
名词解释
(1)Hadoop:Apache开源的分布式框架。
(2)HDSF:Hadoop的分布式文件系统。
(3)NameNode:Hadoop HDFS元数据主节点服务器,负责保存DataNode 文件存储元数据信息,这个服务器是单点的。
(4)JobTracker:Hadoop的Map/Reduce调度器,负责与TaskTracker通信分配计算任务并跟踪任务进度,这个服务器也是
单点的。
(5)DataNode:Hadoop数据节点,负责存储数据。
(6)TaskTracker:Hadoop调度程序,负责Map,Reduce任务的启动和执行。
Hadoop1的集群部署结构图