Hadoop HA集群yarn-site.xml中关键配置详解

在Hadoop High Availability (HA) 集群配置中，`yarn-site.xml` 文件是YARN（Yet Another Resource Negotiator）组件的关键配置文件，它定义了资源管理器（ResourceManager，RM）的高可用性和集群的运行参数。在`slave`节点上，这些配置项确保了在出现ResourceManager故障时，系统的可靠性和稳定性。 1. **ResourceManager连接重试间隔**: `<yarn.resourcemanager.connect.retry-interval.ms>` 属性设置了当ResourceManager与NodeManager之间的连接断开后，RM尝试重新建立连接的等待时间，值为2000毫秒。这有助于在短暂的网络中断期间保持服务的连续性。 2. **启用ResourceManager HA**: `<yarn.resourcemanager.ha.enabled>` 设置为`true`，表示启用了ResourceManager的高可用模式。这意味着系统会支持至少两个资源管理器实例（rm1和rm2），以便在主RM节点失败时，能够自动切换到备份节点。 3. **定义RM实例标识**: `<yarn.resourcemanager.ha.rm-ids>` 指定了两个资源管理器的标识，如`rm1` 和 `rm2`，这些标识用于在Zookeeper中跟踪和管理它们的状态。 4. **Zookeeper集群配置**: `<ha.zookeeper.quorum>` 定义了Zookeeper集群中的节点列表，这里包括`slave1`, `slave2`, 和 `slave3` 的IP地址和端口（2181），Zookeeper是HA架构中的关键组件，负责协调RM实例的选举和状态同步。 5. **故障自动切换**: `<yarn.resourcemanager.ha.automatic-failover.enabled>` 设置为`true`，表明在检测到主RM节点失败时，系统将自动进行故障转移，确保服务不间断。 6. **主RM节点的主机名**: `<yarn.resourcemanager.hostname.rm1>` 和 `<yarn.resourcemanager.hostname.rm2>` 分别定义了两个资源管理器的主机名，这里是`master1` 和 `master2`，确保每个实例都与其对应的物理主机关联。 7. **配置文件的同步**: 提到在`master1` 和 `master2` 上配置RM实例，通常情况下，管理员会将这些配置文件通过远程复制工具（如SSH或SCP）从一个主节点复制到其他节点，但需要注意的是，在YARN的其他机器上，必须手动更新这些配置以确保正确反映当前的HA策略。 8. **自动恢复功能**: 文档最后提到了一个名为`yarn.recovery` 的属性，虽然这部分内容没有完全列出，但可以推测是关于RM实例恢复的配置，可能涉及到数据恢复和故障恢复过程中的参数设置。 `yarn-site.xml` 文件在Hadoop HA环境中扮演着至关重要的角色，通过细致配置，可以实现YARN集群的高可用性和可靠性，确保任务调度和资源管理在主节点失效时能够无缝地过渡到备用节点。