wget
http://labs.renren.com/apache-mirror//hadoop/core/hadoop-0.23.0/hadoop-
0.23.0.tar.gz
wget
http://labs.renren.com/apache-mirror//hadoop/core/hadoop-0.23.0/hadoop-
0.23.0-src.tar.gz
(ps:renren 网提供的 apache 镜像还是挺快的,如果链接不行的话,从列表中选一个
http://www.apache.org/dyn/closer.cgi/hadoop/core/)
2、解压
tar -xvzf hadoop-0.23.0.tar.gz
3、配置集群的环境
在~/.bashrc 文件内添加
#hadoop 0.23 required settings
export HADOOP_DEV_HOME=/home/jiangbing/hadoop-0.23.0 #设置你
hadoop 的路径,需要修改一下
export HADOOP_MAPRED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=/opt/jiangbing/hdfs23/conf #conf 目录也可以按照
Hadoop-0.20.*版本的特点设置在${HADOOP_DEV_HOME}/conf 文件夹下。
export HDFS_CONF_DIR=/opt/jiangbing/hdfs23/conf #可单独设置路径
export YARN_CONF_DIR=${HADOOP_DEV_HOME}/conf #可单独设置路径
如果 home 目录是通过 NFS 挂载共享的,只需在一个节点修改即可,其它节点由于挂载
了/home 目录,可以读取该内容。
4、安装 Java、配置 ssh。由于这部分与 Hadoop-0.20.*的配置相同,这里不再赘述。
5、配置 Hadoop 内部的环境
cd ~/hadoop-0.23.0
cp share/hadoop/common/templates/conf/* $HDFS_CONF_DIR
1)修改 hadoop-env.sh 中的 JAVA_HOME 路径
由于 hadoop-env.sh 默认使用了 export JAVA_HOME=${JAVA_HOME},如果在配
置 JAVA 环境时,已经添加到 bash 中,这步可以省略。
实验使用的集群节点:gb17,gb18,gb19,gb20,gb21,gb22,配置 gb17,gb18 为两个
namenode,分别作为 ns1 和 ns2,HDFS 配置图如下: