yarn历史服务数据存储在哪里
时间: 2023-10-24 13:27:36 浏览: 103
YARN历史服务器(History Server)用于存储和管理YARN应用程序的历史信息,包括已完成的应用程序的状态、计数器、任务信息以及应用程序配置等。历史服务器的数据存储位置也可以配置成不同的方式,一般有以下几种:
1. Hadoop分布式文件系统(HDFS):历史信息可以存储在HDFS上,这种方式适用于大型集群或者生产环境。
2. Amazon S3:历史信息可以存储在Amazon S3上,这种方式适用于在AWS云上运行YARN应用程序的场景。
3. 其他分布式文件系统:历史信息也可以存储在其他分布式文件系统上,如GlusterFS、Ceph等。
需要注意的是,YARN历史服务器的数据存储位置也是可以通过配置文件来指定的,具体配置方式与Hadoop MapReduce和Spark相似。
阅读全文