hadoop3.1.2安装与配置第四步具体怎么实现

第四步：配置Hadoop

1. 配置Hadoop的环境变量

在终端输入以下命令：

sudo gedit ~/.bashrc

在打开的文件中，添加以下内容：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存并关闭文件。

2. 配置Hadoop的HDFS

在终端输入以下命令：

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

在打开的文件中，添加以下内容：

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

保存并关闭文件。

在终端输入以下命令：

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

在打开的文件中，添加以下内容：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>
</configuration>

保存并关闭文件。

3. 配置Hadoop的YARN

在终端输入以下命令：

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

在打开的文件中，添加以下内容：

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/usr/local/hadoop/hadoop_data/yarn/local</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/usr/local/hadoop/hadoop_data/yarn/logs</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>2048</value>
</property>
</configuration>

保存并关闭文件。

4. 启动Hadoop

在终端输入以下命令：

start-all.sh

这个命令会启动Hadoop的所有组件（包括HDFS和YARN）。

5. 检查Hadoop是否正常工作

在浏览器中输入以下地址：

http://localhost:50070/

如果Hadoop正常工作，你应该能够看到HDFS的web界面。

在浏览器中输入以下地址：

http://localhost:8088/

如果Hadoop正常工作，你应该能够看到YARN的web界面。

至此，Hadoop的安装和配置完成。