hadoop3.1.2完全分布式环境搭建

Hadoop是一个开源的分布式计算框架，它可以处理大规模的数据。在这篇文章中，我将会介绍如何在完全分布式环境下搭建Hadoop 3.1.2。

1. 首先，你需要安装Java。Hadoop需要Java的运行环境，你可以在Oracle官网上下载Java。

2. 下载Hadoop 3.1.2的二进制文件，你可以在官网上下载。下载完成后，解压缩文件到一个目录中，比如/home/hadoop/hadoop-3.1.2。

3. 在/etc/profile文件中添加如下内容：

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/hadoop/hadoop-3.1.2
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH

这样，我们就可以在任何地方使用Hadoop命令了。

4. 在Hadoop的配置文件中，我们需要修改三个文件：hadoop-env.sh、core-site.xml、hdfs-site.xml。

在hadoop-env.sh文件中，我们需要设置JAVA_HOME的路径：

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64

在core-site.xml文件中，我们需要设置Hadoop的默认文件系统类型和地址：

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

在hdfs-site.xml文件中，我们需要设置Hadoop的数据存储目录：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hadoop-3.1.2/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/hadoop-3.1.2/hdfs/datanode</value>
</property>
</configuration>

5. 启动Hadoop集群。在这里，我们需要启动namenode和datanode。在启动之前，我们需要格式化namenode：

hadoop namenode -format

然后，我们可以启动Hadoop了：

start-dfs.sh
start-yarn.sh

6. 验证Hadoop集群是否正常工作。我们可以使用下面的命令来查看Hadoop集群的状态：

hadoop dfsadmin -report

这个命令会返回Hadoop集群的一些信息，包括datanode的状态、集群的副本数等。

至此，Hadoop 3.1.2完全分布式环境搭建完成。