yarn 的队列资源怎么分配
时间: 2023-10-24 12:55:09 浏览: 141
YARN动态资源池配置
YARN(Yet Another Resource Negotiator)是Hadoop中的一个资源管理系统,它的队列资源分配是通过配置YARN的调度器来实现的。YARN支持多种调度器,包括FIFO、Capacity Scheduler和Fair Scheduler,其中Capacity Scheduler和Fair Scheduler支持队列资源分配。
在Capacity Scheduler中,资源分配是基于一组队列和队列之间的层次结构进行的。每个队列都有一个容量限制,该限制可以是绝对值(例如4个核心)或百分比(例如50%)。当一个应用程序提交到容器中时,容器将被分配到一个队列中,容器只能使用该队列的容量限制内的资源。
在Fair Scheduler中,资源分配是基于公平共享原则进行的。每个应用程序都被分配一个权重,权重越高,应用程序获得的资源就越多。当一个应用程序提交到容器中时,容器将被分配到一个队列中,容器只能使用该队列的公平共享部分的资源。
总之,YARN的队列资源分配是通过调度器和队列的配置来实现的,这可以根据不同的需求进行定制化配置。
阅读全文