CentOS Stream 9操作系统部署hadoop完全分布式的搭建(三台虚拟机)

CentOS Stream 9是一个基于RHEL源的滚动更新版本，用于提供最新的开源软件。部署Hadoop全分布式在一个包含三台虚拟机的环境中需要以下步骤：

1. **环境准备**：
- 准备三台虚拟机，每台作为NameNode、DataNode和ResourceManager/NodeManager。

2. **安装基础组件**：
- 使用Yum (CentOS的包管理工具) 安装必要的软件包，如JDK、SSH等。

   sudo yum install java-1.x-openjdk-devel openssh-server

3. **配置网络**：
- 确保虚拟机之间可以互相通信，配置IP地址和路由规则。

4. **安装Hadoop**：
- 下载Hadoop二进制包到其中一台机器，通常是作为HDFS的NameNode。

   wget https://www.apache.org/dist/hadoop/common/stable/hadoop-<version>/hadoop-<version>.tar.gz

- 解压并配置Hadoop。编辑`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml` 和 `mapred-site.xml` 文件。

5. **启动服务**：
- 启动HDFS的NameNode (`start-dfs.sh`) 和 DataNodes (`start-datanode.sh`).
- 启动YARN的ResourceManager (`start-yarn.sh`) 和 NodeManagers。

6. **配置客户端**：
- 如果要在其他节点运行MapReduce任务，需要配置`hadoop-env.sh`来设置JAVA_HOME，并在`~/.bashrc`或`.bash_profile`里添加HADOOP_HOME到PATH。

7. **测试集群**：
- 验证HDFS通过`hadoop fs -ls`命令，检查是否能访问数据。
- 运行简单的MapReduce示例以验证YARN功能。

8. **安全性和优化**：
- 考虑启用Kerberos认证、加密和权限管理。
- 根据实际情况调整DataNode的数量以提高处理能力。

**相关问题--:**
1. CentOS Stream 9和Hadoop的兼容性如何？
2. 如何手动创建HDFS文件系统？
3. 在部署过程中遇到网络连接问题应该怎么做？