yarn.log-aggregation.retain-seconds

yarn.log-aggregation.retain-seconds 是一个用于配置YARN（Yet Another Resource Negotiator）日志聚合的属性。它指定了在日志聚合期间保留日志的时间（以秒为单位）。具体而言，它确定了聚合后的日志将在系统中保留多长时间。这个属性可以在YARN的配置文件中进行设置。请注意，该属性的具体用法和默认值可能会因YARN的版本和配置而有所不同。

相关问题

启动jobhistoryserver报错Error starting JobHistoryServer org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Error creating done directory: [hdfs://cdh1:8020/user/history/done]

这个错误通常表示JobHistoryServer无法在HDFS中创建目录来存储其输出数据。

以下是解决此问题的几个步骤：

1. 检查HDFS服务是否正常运行，并且已创建所需的目录。您可以使用Hadoop HDFS命令行界面来检查HDFS的状态。

2. 确保运行JobHistoryServer的用户具有在HDFS中创建目录所需的权限。您可以通过运行命令"hdfs dfs -ls /user/history"来检查这一点，并验证用户是否具有对目录的写访问权限。

3. 检查core-site.xml配置文件，确保"fs.defaultFS"属性设置为正确的HDFS namenode地址。

4. 验证yarn-site.xml配置文件中的"yarn.log-aggregation.retain-seconds"参数设置为大于零的值。

5. 检查是否存在任何网络或防火墙问题，阻止JobHistoryServer访问HDFS。

如果这些步骤都没有解决问题，您可能需要寻求Hadoop或YARN社区或Hadoop专家的帮助。

yarn-site.xml

yarn-site.xml 是 Apache Hadoop YARN 的配置文件之一，用于配置 YARN （Yet Another Resource Negotiator）资源管理器。该文件通常位于 Hadoop 配置目录中的 /etc/hadoop/ 目录下。

以下是 yarn-site.xml 文件中常用的配置属性及其说明：

- yarn.resourcemanager.hostname：YARN 资源管理器的主机名。
- yarn.nodemanager.aux-services：NodeManager 额外的服务。
- yarn.nodemanager.aux-services.mapreduce.shuffle.class：MapReduce Shuffle 服务的实现类。
- yarn.nodemanager.local-dirs：NodeManager 使用的本地目录。
- yarn.log-aggregation-enable：启用或禁用 YARN 的日志聚合功能。
- yarn.log-aggregation.retain-seconds：聚合日志的保留时间（以秒为单位）。
- yarn.scheduler.minimum-allocation-mb：每个容器分配的最小内存（以 MB 为单位）。
- yarn.scheduler.maximum-allocation-mb：每个容器分配的最大内存（以 MB 为单位）。

需要注意的是，yarn-site.xml 中的配置属性可以被其他 Hadoop 配置文件中的同名属性覆盖。