HADOOP(3.0.0)在CENTOS7(RED HAT 7)下完全分布式环境搭建

好的，以下是在CentOS 7上搭建Hadoop 3.0.0完全分布式环境的步骤：

1.安装Java

Hadoop是基于Java编写的，需要先安装Java。在终端中输入以下命令：

sudo yum install java-1.8.0-openjdk-devel

2.下载和解压Hadoop

在终端中输入以下命令：

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz
tar -xzvf hadoop-3.0.0.tar.gz

3.配置环境变量

打开环境变量配置文件：

sudo vi /etc/profile

在文件末尾添加以下内容：

export HADOOP_HOME=/path/to/hadoop-3.0.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存并退出。

4.配置Hadoop

进入Hadoop的conf目录：

cd /path/to/hadoop-3.0.0/etc/hadoop/

修改以下配置文件：

core-site.xml：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/path/to/hadoop-3.0.0/data/tmp</value>
  </property>
</configuration>

hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/path/to/hadoop-3.0.0/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/path/to/hadoop-3.0.0/data/datanode</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

yarn-site.xml：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
  </property>
</configuration>

mapred-site.xml：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

注意：以上配置中的master应替换为你的主节点的hostname。

5.配置SSH免密码登录

在所有节点上执行以下命令：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将主节点的authorized_keys文件复制到所有从节点：

scp ~/.ssh/authorized_keys slave1:~/.ssh/
scp ~/.ssh/authorized_keys slave2:~/.ssh/

6.启动Hadoop集群

在主节点上执行以下命令：

格式化HDFS：

hdfs namenode -format

启动HDFS和YARN：

start-dfs.sh
start-yarn.sh

在浏览器中访问http://master:50070，可以看到HDFS的状态。

在浏览器中访问http://master:8088，可以看到YARN的状态。

7.测试Hadoop集群

在Hadoop的安装目录下创建一个input目录，并在其中创建一个文件，内容随意。

mkdir input
echo "Hello Hadoop" > input/file1

将文件上传到HDFS：

hdfs dfs -mkdir /input
hdfs dfs -put input/file1 /input/

运行Hadoop自带的wordcount示例：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar wordcount /input /output

查看结果：

hdfs dfs -cat /output/part-r-00000

如果输出了单词“Hello”的计数结果，则说明Hadoop集群已经成功搭建。

至此，在CentOS 7上搭建Hadoop 3.0.0完全分布式环境的步骤就完成了。