yarn集群元数据存储周期怎么设置

Yarn集群的元数据存储周期可以通过设置以下两个属性来配置：

1. `yarn.nodemanager.recovery.enabled`: 该属性控制NodeManager的恢复功能是否启用，默认为false。当该属性设置为true时，NodeManager会在启动时从应用程序提交者和ResourceManager获取容器和应用程序的元数据，以便在NodeManager失败后能够恢复。

2. `yarn.resourcemanager.store.class`: 该属性指定了ResourceManager用于存储元数据的类。默认情况下，Yarn使用`org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore`来将元数据存储在文件系统中。可以通过设置不同的类来选择其他存储方式，如数据库等。

因此，根据您的需求，您可以根据上述属性进行相应的配置来设置Yarn集群的元数据存储周期。请注意，在更改这些属性之前，请确保您理解其影响，并在测试环境中进行适当的验证。

相关问题

yarn历史服务数据存储在哪里

YARN历史服务器(History Server)用于存储和管理YARN应用程序的历史信息，包括已完成的应用程序的状态、计数器、任务信息以及应用程序配置等。历史服务器的数据存储位置也可以配置成不同的方式，一般有以下几种：

1. Hadoop分布式文件系统(HDFS)：历史信息可以存储在HDFS上，这种方式适用于大型集群或者生产环境。
2. Amazon S3：历史信息可以存储在Amazon S3上，这种方式适用于在AWS云上运行YARN应用程序的场景。
3. 其他分布式文件系统：历史信息也可以存储在其他分布式文件系统上，如GlusterFS、Ceph等。

需要注意的是，YARN历史服务器的数据存储位置也是可以通过配置文件来指定的，具体配置方式与Hadoop MapReduce和Spark相似。

python 连接spark yarn集群

要连接 Spark YARN 集群，需要按照以下步骤进行操作：

1. 安装 Java 和 Spark

首先需要确保已经正确安装了 Java 和 Spark。安装步骤可以参考官方文档。

2. 配置 Hadoop 和 YARN

在连接 Spark YARN 集群之前，需要先配置 Hadoop 和 YARN。在配置之前，确保已经正确安装了 Hadoop 和 YARN。安装步骤可以参考官方文档。

3. 配置 Spark

在连接 Spark YARN 集群之前，需要先配置 Spark。在配置之前，确保已经正确安装了 Spark。安装步骤可以参考官方文档。

在 Spark 的配置文件中，需要设置以下参数：

spark.master yarn
spark.submit.deployMode cluster

其中，`spark.master` 参数指定 Spark 的运行模式为 YARN，`spark.submit.deployMode` 参数指定 Spark 应用程序的部署模式为集群模式。

4. 运行 Spark 应用程序

配置完成后，可以通过以下命令提交 Spark 应用程序：

$SPARK_HOME/bin/spark-submit \
  --class <main-class> \
  --master yarn \
  --deploy-mode cluster \
  <application-jar> \
  [application-arguments]

其中，`<main-class>` 参数指定主类名，`<application-jar>` 参数指定应用程序的 JAR 包路径，`[application-arguments]` 参数指定应用程序的参数。

5. 查看应用程序运行情况

可以通过以下命令查看应用程序的运行情况：

yarn application -list

该命令会列出所有在 YARN 上运行的应用程序。可以通过应用程序的 ID 查看应用程序的详细信息：

yarn application -status <application-id>

以上就是连接 Spark YARN 集群的步骤。