首先我现在有一个已经搭建好的hadoop集群,其中由三个节点Hadoop102、Hadoop03、Hadoop104构成,集群上已经配置了yarn页面在hadoop103,hdfs在hadoop102.现在我想在新增一个节点hadoop105仅仅用于做前后端,只需要从集群上取数,那我应该怎么配置?
时间: 2023-05-31 09:02:29 浏览: 114
Hadoop集群的配置
如果你只需要在新增的节点hadoop105上进行前后端的开发工作,只需要在该节点上安装hadoop的客户端即可,无需在该节点上安装hadoop的服务端组件。
安装hadoop客户端的步骤如下:
1. 安装Java运行环境
2. 从Hadoop官网下载对应版本的Hadoop客户端压缩包,解压到hadoop客户端节点的任意目录下(比如:/opt/hadoop-client)
3. 配置Hadoop客户端环境变量
在hadoop客户端节点上的/etc/profile文件中添加以下内容:
```
export HADOOP_HOME=/opt/hadoop-client
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```
4. 配置Hadoop客户端的core-site.xml文件
在hadoop客户端节点上的/opt/hadoop-client/etc/hadoop目录下,复制一份core-site.xml.template文件,重命名为core-site.xml,并修改其中的以下属性:
```
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-client/tmp</value>
</property>
</configuration>
```
其中,fs.defaultFS属性指定HDFS的访问地址为hadoop102节点的9000端口,hadoop.tmp.dir属性指定Hadoop客户端的临时目录为/opt/hadoop-client/tmp。
5. 配置Hadoop客户端的yarn-site.xml文件
在hadoop客户端节点上的/opt/hadoop-client/etc/hadoop目录下,复制一份yarn-site.xml.template文件,重命名为yarn-site.xml,并修改其中的以下属性:
```
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
</configuration>
```
其中,yarn.resourcemanager.hostname属性指定YARN的资源管理器运行在hadoop103节点上,yarn.nodemanager.aux-services属性指定节点管理器的辅助服务为mapreduce_shuffle,yarn.log-aggregation-enable属性指定日志聚合功能开启。
6. 配置Hadoop客户端的mapred-site.xml文件
在hadoop客户端节点上的/opt/hadoop-client/etc/hadoop目录下,复制一份mapred-site.xml.template文件,重命名为mapred-site.xml,并修改其中的以下属性:
```
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/opt/hadoop-client</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=/opt/hadoop-client</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=/opt/hadoop-client</value>
</property>
</configuration>
```
其中,mapreduce.framework.name属性指定MapReduce框架运行在YARN上,yarn.app.mapreduce.am.env、mapreduce.map.env和mapreduce.reduce.env属性指定MapReduce任务运行时的环境变量。
7. 配置Hadoop客户端的hdfs-site.xml文件
在hadoop客户端节点上的/opt/hadoop-client/etc/hadoop目录下,复制一份hdfs-site.xml.template文件,重命名为hdfs-site.xml,并修改其中的以下属性:
```
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.client.use.datanode.hostname</name>
<value>true</value>
</property>
</configuration>
```
其中,dfs.replication属性指定数据块的副本数为3,dfs.client.use.datanode.hostname属性指定客户端使用数据节点的主机名。
8. 测试Hadoop客户端配置是否正确
在hadoop客户端节点上执行以下命令:
```
hadoop version
```
如果输出了Hadoop的版本信息,则说明Hadoop客户端配置成功。
至此,你已经成功地在新增的节点hadoop105上安装并配置了Hadoop的客户端,可以使用该节点进行前后端的开发工作并从集群上取数。
阅读全文