yarn.scheduler.capacity.node-locality-delay
时间: 2024-04-19 16:29:07 浏览: 220
node-v16.20.2-linux-x64.tar.xz
yarn.scheduler.capacity.node-locality-delay是YARN调度器中的一个配置参数,用于控制任务在本地节点上调度的延迟时间。当一个作业提交到YARN集群时,YARN调度器会尽量将任务调度到与数据本地性最高的节点上,以减少数据传输延迟。这个参数指定了从任务被提交到调度器开始考虑本地性的时间间隔。
默认情况下,node-locality-delay的值为40ms。这意味着,当一个任务被提交后的40ms内,YARN调度器会优先考虑将任务调度到与数据本地性最高的节点上。如果在这个时间间隔内没有找到合适的节点,则会考虑非本地节点。
通过调整node-locality-delay的值,可以根据集群的特点和负载情况来优化任务的调度性能。较小的值可以使任务更快地被调度到本地节点上,但可能增加调度器的负载;较大的值可以减少调度器的负载,但可能导致任务在本地节点上的等待时间增加。
需要注意的是,修改这个参数可能需要重启YARN集群以使其生效。
阅读全文