yarn scheduler
时间: 2023-08-21 19:18:05 浏览: 99
YARN调度器是用于分配和管理集群资源的组件。YARN支持多种调度器,包括Fair Scheduler(公平调度器)、Capacity Scheduler(容量调度器)和FIFO Scheduler(先进先出调度器)。
Fair Scheduler是一种公平调度器,它根据预先配置的规则将资源分配给正在运行的应用程序。它允许大任务和小任务在提交的同时获得一定的系统资源,避免了大任务阻塞小任务的情况。\[2\]
Capacity Scheduler是一种容量调度器,它允许对集群资源进行细粒度的划分和管理。每个队列都被分配了一定的资源,并且可以限制每个队列执行的作业数量。这使得不同的应用程序可以共享集群资源,提高了资源利用率。\[2\]
FIFO Scheduler是一种先进先出调度器,它按照应用程序提交的顺序将其排成一个队列,并按照顺序分配资源。这是最简单和最容易理解的调度器,但不适用于共享集群,因为大任务可能会阻塞其他任务的执行。\[2\]
根据你提供的引用内容,Fair Scheduler的配置可以在YARN配置文件中的yarn.resourcemanager.scheduler.class属性中指定为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。\[1\]
总之,YARN调度器根据不同的需求和场景,提供了多种调度策略,以便更好地管理和分配集群资源。
#### 引用[.reference_title]
- *1* [yarn 的三种 scheduler](https://blog.csdn.net/qq_34077611/article/details/79893977)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* [YARN调度器(Scheduler)详解](https://blog.csdn.net/lovedieya/article/details/107447102)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [YARN的调度器Scheduler](https://blog.csdn.net/CyAurora/article/details/119277073)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
阅读全文