在Yarn中对作业的调度,主要有哪两种调度算法
时间: 2024-04-06 13:30:21 浏览: 156
在Yarn中对作业的调度,主要有以下两种调度算法:
1. 容量调度(Capacity Scheduler):容量调度是基于资源分配的一种调度算法,将资源划分为多个队列,每个队列都有自己的资源容量限制,可以按照不同的比例分配资源。当一个队列达到了它的资源容量限制,它就会拒绝新的任务请求。
2. 公平调度(Fair Scheduler):公平调度是一种基于任务优先级的调度算法,根据作业的资源需求和优先级来分配资源,使得所有作业都能够公平地分享集群资源。如果一个作业请求的资源超过了它的公平份额,它会被限制在使用公平份额内的资源。
这两种调度算法都可以根据实际需求进行配置和调整,以满足不同场景下的调度需求。
阅读全文