注意:
Hadoop安装目录所属用户和所属用户组信息,默认是501 dialout,而我们操作Hadoop集群的用
户使
用的是虚拟机的root用户,
所以为了避免出现信息混乱,修改Hadoop安装目录所属用户和用户组!!
四 、分发脚本设置
编写集群分发脚本rsync-script
1. rsync 远程同步工具
rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。
scp是把所有文件都复制过去。
2. 基本语法
选项 功能
-r 递归
-v 显示复制过程
-l 拷贝符号连接
3. 基本功能
安装rsync
1. 三台虚拟机安装rsync (执行安装需要保证机器联网)
2. 把hadoop100机器上的/opt/software目录同步到hadoop102服务器的root用户下的/opt/目
录
集群分发脚本编写
在/usr/local/bin目录下创建文件rsync-script,文件内容如下:
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop102</value>
</property>
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
chown -R root:root /opt/servers/hadoop-2.9.2
rsync -rvl $pdir/$fname $user@$host:$pdir/$fname
rsync -rvl /opt/software/ root@hadoop101:$PWD
#!/bin/bash
#1 获取命令输入参数的个数,如果个数为0,直接退出命令
paramnum=$#
if((paramnum==0)); then
echo no params;
exit;
fi
#2 根据传入参数获取文件名称