yarn资源管理器介绍

YARN（Yet Another Resource Negotiator）是Hadoop 2.0中引入的新的资源管理器，它的主要作用是管理集群中的资源和调度任务。YARN由ResourceManager、NodeManager、ApplicationMaster和Container四个核心组件构成。

- ResourceManager：是整个集群的资源管理器，负责协调集群中所有应用程序的资源分配和任务调度。ResourceManager内部包含一个Scheduler（调度器），用于调度各个应用程序的任务。
- NodeManager：是每个节点上的资源管理器，负责启动和监视容器（Container）的资源使用情况，并向ResourceManager及其Scheduler报告使用情况。
- ApplicationMaster：是每个应用程序的管理器，负责与ResourceManager协商资源，并与NodeManager一起执行和监视任务。
- Container：是集群上的可使用资源，包含CPU、内存、磁盘、网络等。

YARN的资源管理方式是基于队列的，即将集群中的资源划分为多个队列，每个队列有独立的资源，队列的结构和资源是可以进行配置的。在YARN中，有一个叫做Capacity Scheduler的调度器，它以队列为单位划分资源。例如，default队列占30%资源，analyst和dev分别占40%和30%资源；且analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。

总之，YARN是一个高效的资源管理器，可以帮助用户更好地管理集群中的资源和任务，提高集群的利用率和性能。