一、环境配置:三台linux redhat 5 服务器
三台服务器的hosts :
192.168.1.50 mymast
192.168.1.60 vmmast
192.168.1.70 cpmast
三台服务器的profile文件:
JAVA_HOME=/usr/jdk1.6.0_13
PATH=$PATH:$JAVA_HOME/bin
三台服务全部禁用iptables
二、ssh免密码登录配置
三台服务器的ssh免密码登录:前提是已经安装了ssh应用,并启动的ssh服务,如果没有要安装
//设置mymast--->cpmast 在mymast服务器上操作:
ssh-keygen -t rsa
cp id_rsa.pub authorized_keys
scp authorized_keys cpmast:/~/.ssh/ //mymast-->cpmast 前提是 cpmast的 .ssh目录要存在
cpmast服务器上操作:
mkdir /~/.ssh
chmod 644 authorized_keys
//设置cpmast--->mymast 还是在cpmast服务器上操作
ssh-keygen -t rsa
cp id_rsa.pub >> authorized_keys //合并密钥
scp authorized_keys cpmast:/~/.ssh/
设置完成之后cpmast 与 mymast 互相ssh试一试,然后再用相同的方法把vmmast服务器也做设置,所有完成之后,authorized_keys文件中应该有
三条密钥,在三条密钥的最后分别是:root@vmmast、root@mymast、root@cpmast ,本例使用的是root用户操作,hadoop、spark等应用是放在
hadoop用户下
三、创建用户和组:
groupadd hadoop
useradd -g hadoop hadoop
hadoop、spark等应用是放在/home/hadoop用户下
四、配置hadoop
只需配置下列三个文件:
core-site.xml
hdfs-site.xml
slaves
core-site.xml的配置:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://mymast:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>