YARN调度器默认调度器类型
时间: 2024-01-23 20:02:46 浏览: 25
YARN调度器的默认调度器类型是Capacity Scheduler。它是一个基于容量和队列的调度器,支持多个队列,并按照预定义的容量分配资源。如果需要更细粒度的资源管理,可以使用Fair Scheduler,它支持动态分配资源,并在多个应用程序之间公平共享资源。还可以使用其他调度器类型,如FIFO Scheduler,但它不支持队列和容量管理。
相关问题
yarn 参数设置
yarn的参数设置包括以下几个方面:
1. ApplicationMaster内存:用于提交任务到yarn上时为ApplicationMaster分配的内存量。一般建议设置为1G-4G,可以在yarn-site.xml中配置参数yarn.app.mapreduce.am.resource.mb。
2. 容器虚拟CPU内核:每台nodemanager节点提供给yarn进行调度管理的CPU核数大小。这个值需要根据每台服务器的内存来确定,一般建议配置为4-6核,可以在yarn-site.xml中配置参数yarn.nodemanager.resource.percentage-physical-cpu-limit。
3. 容器内存增量:当创建一个容器后,默认创建的容器资源无法支持任务运行,需要增加内存资源。一般建议配置为512MB,如果任务所涉及的数据或计算量较大,可以相应调整为1G,2G等。可以在yarn-site.xml中配置参数yarn.scheduler.increment-allocation-mb。
参考文献:
: 引用
: 引用
: 引用
yarn.scheduler.capacity.node-locality-delay
yarn.scheduler.capacity.node-locality-delay是YARN调度器中的一个配置参数,用于控制任务在本地节点上调度的延迟时间。当一个作业提交到YARN集群时,YARN调度器会尽量将任务调度到与数据本地性最高的节点上,以减少数据传输延迟。这个参数指定了从任务被提交到调度器开始考虑本地性的时间间隔。
默认情况下,node-locality-delay的值为40ms。这意味着,当一个任务被提交后的40ms内,YARN调度器会优先考虑将任务调度到与数据本地性最高的节点上。如果在这个时间间隔内没有找到合适的节点,则会考虑非本地节点。
通过调整node-locality-delay的值,可以根据集群的特点和负载情况来优化任务的调度性能。较小的值可以使任务更快地被调度到本地节点上,但可能增加调度器的负载;较大的值可以减少调度器的负载,但可能导致任务在本地节点上的等待时间增加。
需要注意的是,修改这个参数可能需要重启YARN集群以使其生效。