hadoop HA集群搭建

Hadoop High Availability (HA) 集群是为了提高Apache Hadoop集群的可靠性和可用性而设计的一种架构。它通过将关键服务（如NameNode和JobTracker）冗余部署，并在主节点故障时自动切换到备用节点，保证了数据处理任务的持续进行。下面是Hadoop HA集群搭建的基本步骤：

1. **安装并配置Hadoop**:
- 安装Hadoop到两个或更多节点上，每个节点都是一个独立的Hadoop集群实例。
- 配置`core-site.xml`和`hdfs-site.xml`文件，设置集群的名称节点（NameNode）和数据节点（DataNodes）。

2. **启用HDFS HA**:
- 在`hdfs-site.xml`中，设置`ha.fencing.methods`指定节点之间的心跳检测方法，例如SSH或JMX。
- 创建一个HDFS HA配置文件，如`core-site.xml.template`，并在实际集群中创建对应的配置文件。

3. **配置高可用NameNode**:
- 设置`ha.zookeeper.quorum`为ZooKeeper集群地址，用于选举新的Active NameNode。
- 配置`dfs.nameservice.id`定义NameNode服务名。
- 在`hdfs-site.xml`中启用`dfs.ha.namenodes.<nameservice-id>`属性。

4. **设置Secondary NameNode**:
- 在`hdfs-site.xml`中启用`dfs.ha.automatic-failover.enabled`，并配置`dfs.ha.automatic-failover.retry-interval`和`dfs.ha.automatic-failover.timeout`。

5. **配置ZooKeeper**:
- 如果没有使用ZooKeeper，需要配置一个或多个ZooKeeper服务器作为NameNode服务选举的协调器。

6. **启动HDFS服务**:
- 启动HDFS集群，包括两个NameNode（一个为主，一个为备）和足够的DataNodes。

7. **验证集群状态**:
使用`hdfs haadmin`命令检查集群状态、启动/关闭心跳检测和手动触发Failover。

8. **配置YARN HA**:
对于YARN资源管理器，类似地，需要配置ResourceManager HA（RMHA），并设置HA模式。

9. **测试和监控**:
确保服务可用，执行负载测试，并设置监控工具（如Hadoop Metrics2或Ganglia）来监控性能和异常。