hadoop高可用集群搭建3.0

搭建 Hadoop 3.0 高可用集群需要以下步骤：

1. 安装 JDK 和 Hadoop

首先需要安装 JDK 和 Hadoop，可以从官网下载对应版本的 JDK 和 Hadoop，并解压到相应的路径下。

2. 配置 SSH 免密登录

在主节点上配置 SSH 免密登录，使得主节点可以无密码访问从节点。可以使用 ssh-keygen 生成公私钥对，并将公钥分发到从节点上的 authorized_keys 文件中。

3. 配置 Hadoop

在 Hadoop 的配置文件中，需要进行以下配置：

- core-site.xml：配置 Hadoop 的核心参数，包括文件系统的默认 URI 和 Hadoop 的临时目录等。
- hdfs-site.xml：配置 HDFS 相关参数，包括 HDFS 副本数、NameNode 和 SecondaryNameNode 的地址、DataNode 数据存储路径等。
- mapred-site.xml：配置 MapReduce 相关参数，包括 JobTracker 的地址、MapReduce 任务的最大并行度等。
- yarn-site.xml：配置 YARN 相关参数，包括 ResourceManager 和 NodeManager 的地址、YARN 的内存管理等。

需要注意的是，在配置文件中需要指定主节点和从节点的 IP 地址和主机名。

4. 启动集群

在启动集群前，需要格式化 HDFS，使用以下命令进行格式化：

$ hdfs namenode -format

然后可以使用以下命令启动 Hadoop 集群：

$ start-dfs.sh
$ start-yarn.sh

5. 检查集群状态

使用以下命令可以检查集群的运行状态：

$ jps

其中，NameNode、DataNode、ResourceManager 和 NodeManager 等进程应该都在运行中。可以使用以下命令查看 HDFS 中的文件列表：

$ hdfs dfs -ls /

如果能够看到 HDFS 中的文件列表，则说明集群已经成功搭建。