（二）双高可用Hadoop的安装部署

Hadoop的双高可用(High Availability, HA)部署是为了提高集群的稳定性和容错能力，通常涉及到Hadoop的两个关键组件：HDFS和YARN。以下是双高可用Hadoop的安装和部署步骤：

1. **环境准备**：
- 安装基础软件：Linux操作系统，Java JDK，SSH等。
- 配置硬件资源：至少两个节点，每个节点至少需要一个主存储和一个CPU。

2. **配置文件**：
- 修改`core-site.xml`和`hdfs-site.xml`文件，配置HDFS的名称节点为HA模式。
- 在`yarn-site.xml`中设置YARN的资源管理器为HA模式。

3. **安装Hadoop**：
- 分别在每个节点上安装Hadoop，确保版本一致。
- 安装HDFS的DataNode和NameNode，以及YARN的ResourceManager、NodeManager。

4. **设置集群配置**：
- 创建一个包含两个NameNode的ha configuration文件，配置文件中会指定一个为active，另一个为standby。
- 使用`hadoop-daemon.sh`命令行工具，分别启动standby NameNode和Active NameNode。

5. **配置心跳和选举**：
- 使用ZooKeeper作为NameNode的元数据存储和协调服务，配置ZooKeeper的quorum。
- 名称节点之间的健康检查和故障转移由ZooKeeper自动管理。

6. **数据副本和客户端配置**：
- HDFS会将数据副本存放在不同的DataNode，配置副本因子以确保数据安全。
- 配置客户端使用`hadoop-hdfs-site.xml`中的`ha.namenodes`属性，指向active NameNode。

7. **测试和监控**：
- 启动Hadoop集群并执行一些基本操作，如上传文件、读取文件等，确保HA功能正常。
- 使用Hadoop自带的监控工具或第三方工具（如Hadoop Metrics2、Ganglia等）监控集群状态。