hadoop yarn使用环境变量配置HA集群

在 Hadoop YARN 中，HA 集群是指将多个 YARN ResourceManager 节点组成一个高可用的集群，以提高系统的可靠性和稳定性。在 HA 集群中，多个 ResourceManager 节点可以相互备份，以保证在某个节点故障时，系统仍能正常运行。

在配置 YARN HA 集群时，可以使用环境变量来设置一些参数，以便更好地控制 HA 集群的行为。下面介绍如何使用环境变量配置 YARN HA 集群。

1. 配置 yarn-site.xml 文件

首先，在 yarn-site.xml 文件中配置 HA 相关的参数。以下是一个示例配置：

<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>mycluster</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>rm1-hostname</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>rm2-hostname</value>
</property>

其中：

- yarn.resourcemanager.ha.enabled 表示开启 HA 功能；
- yarn.resourcemanager.cluster-id 表示 HA 集群的唯一标识符；
- yarn.resourcemanager.ha.rm-ids 表示 HA 集群中每个 ResourceManager 的标识符；
- yarn.resourcemanager.hostname.rm1 和 yarn.resourcemanager.hostname.rm2 分别表示每个 ResourceManager 的主机名。

2. 配置环境变量

接下来，需要配置环境变量来指定 HA 集群的一些参数。以下是一个示例配置：

export HADOOP_YARN_HOME=/usr/local/hadoop-2.7.3
export YARN_CONF_DIR=$HADOOP_YARN_HOME/etc/hadoop
export YARN_RESOURCEMANAGER_HA_RM_IDS=rm1,rm2
export YARN_RESOURCEMANAGER_HA_RM-1_HOSTNAME=rm1-hostname
export YARN_RESOURCEMANAGER_HA_RM-2_HOSTNAME=rm2-hostname
export YARN_RESOURCEMANAGER_HA_CLUSTER_ID=mycluster

其中：

- HADOOP_YARN_HOME 表示 YARN 的安装路径；
- YARN_CONF_DIR 表示 YARN 的配置文件路径；
- YARN_RESOURCEMANAGER_HA_RM_IDS 表示 HA 集群中每个 ResourceManager 的标识符；
- YARN_RESOURCEMANAGER_HA_RM-1_HOSTNAME 和 YARN_RESOURCEMANAGER_HA_RM-2_HOSTNAME 分别表示每个 ResourceManager 的主机名；
- YARN_RESOURCEMANAGER_HA_CLUSTER_ID 表示 HA 集群的唯一标识符。

3. 启动 YARN

最后，启动 YARN，并检查 HA 集群是否正常工作。可以使用以下命令启动 YARN：

$YARN_HOME/sbin/yarn-daemon.sh start resourcemanager

注意，这里的 $YARN_HOME 是指 YARN 的安装路径。启动成功后，可以通过 Web 界面或命令行工具来检查 HA 集群的状态。