centos7 hadoop集群搭建

CentOS 7 上搭建 Hadoop 集群的步骤如下：

1. 安装 Java

Hadoop 需要 Java 环境支持，因此需要先安装 Java。可以通过以下命令安装：

sudo yum install java-1.8.-openjdk

2. 下载 Hadoop

可以从 Hadoop 官网下载最新版本的 Hadoop，也可以使用以下命令下载：

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

3. 解压 Hadoop

使用以下命令解压 Hadoop：

tar -zxvf hadoop-3.3.1.tar.gz

4. 配置 Hadoop

进入 Hadoop 目录，编辑配置文件：

cd hadoop-3.3.1
vim etc/hadoop/hadoop-env.sh

将 JAVA_HOME 设置为 Java 安装路径：

export JAVA_HOME=/usr/lib/jvm/java-1.8.-openjdk

编辑 core-site.xml 文件：

vim etc/hadoop/core-site.xml

添加以下内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:900</value>
  </property>
</configuration>

其中，master 是 Hadoop 集群的主节点。

编辑 hdfs-site.xml 文件：

vim etc/hadoop/hdfs-site.xml

添加以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/hadoop/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/datanode</value>
  </property>
</configuration>

其中，dfs.replication 是数据备份数量，dfs.namenode.name.dir 和 dfs.datanode.data.dir 是 HDFS 数据存储路径。

编辑 mapred-site.xml 文件：

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vim etc/hadoop/mapred-site.xml

添加以下内容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

编辑 yarn-site.xml 文件：

vim etc/hadoop/yarn-site.xml

添加以下内容：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
  </property>
</configuration>

其中，yarn.resourcemanager.hostname 是 YARN 的主节点。

5. 配置 SSH

Hadoop 集群需要使用 SSH 进行节点间通信，因此需要配置 SSH。可以使用以下命令生成 SSH 密钥：

ssh-keygen -t rsa

将公钥分发到所有节点：

ssh-copy-id -i ~/.ssh/id_rsa.pub user@slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub user@slave2
...

6. 启动 Hadoop

使用以下命令启动 Hadoop：

sbin/start-all.sh

7. 验证 Hadoop

使用以下命令查看 Hadoop 集群状态：

jps

如果输出类似以下内容，则表示 Hadoop 集群已经启动成功：

NameNode
DataNode
ResourceManager
NodeManager

可以通过 Web 界面查看 Hadoop 集群状态：

- HDFS：http://master:50070/
- YARN：http://master:8088/

以上就是在 CentOS 7 上搭建 Hadoop 集群的步骤。