rocky Linux 9.4 安装hadoop 高可用集群

Rocky Linux 9.4 安装Hadoop高可用集群是一个涉及多个步骤的过程，主要用于搭建分布式计算平台。以下是简化的安装步骤：

1. **准备环境**:
- 确保你的服务器已经配置了防火墙并允许必要的端口（例如HDFS的50070和YARN的8088等）。
- 准备三台或多台具有足够硬件资源的服务器作为集群节点。

2. **更新系统和安装基本依赖**:

   sudo yum update -y
   sudo yum install java-1.8.0-openjdk-devel git tar

3. **下载Hadoop**:

   wget https://www.apache.org/dist/hadoop/common/stable/hadoop-3.x.x.tar.gz

4. **解压并配置**:

   tar -zxvf hadoop-3.x.x.tar.gz
   cd hadoop-3.x.x
   cp etc/hadoop/* /etc/hadoop/ # 如果没有该目录，创建一个

5. **设置环境变量**:
在~/.bashrc 或者 ~/.bash_profile 中添加 HADOOP_HOME 和 PATH 变量指向Hadoop安装路径。

6. **配置Hadoop**:
- 修改核心-site.xml、hdfs-site.xml 和 yarn-site.xml 文件，配置集群相关的参数（如名称节点、数据节点地址、资源管理器地址等）。
- 编辑core-site.xml以启用安全模式（若不需要则忽略此步），添加`<property> <name>hadoop.security.authentication</name> <value>simple</value></property>`。

7. **启动HDFS和YARN**:

   hdfs namenode -format
   start-dfs.sh
   start-yarn.sh

注意这是单机模式，如果要组建集群，请使用 `sbin/start-dfs.sh` 和 `sbin/start-yarn.sh` 启动守护进程，并配置适当的HA参数。

8. **高可用(HA)配置**:
- 安装 ZooKeeper 并配置为Hadoop的元存储服务。
- 配置Hadoop HA，包括NameNode HA（NNHA）、DataNode HA 和 ResourceManager HA（RMHA）。这通常涉及到多个配置文件的修改和启动脚本的定制。

9. **监控和服务管理**:
使用Hadoop提供的`hadoop-daemon.sh`脚本来管理和监控各个服务，如 `hadoop-daemon.sh start Namenode` 或 `hadoop-daemon.sh stop ResourceManager`.