如何配置 yarn.scheduler.capacity.root.<queue-name>.priority
时间: 2023-12-10 14:05:44 浏览: 31
yarn.scheduler.capacity.root.<queue-name>.priority 是 YARN 调度器的配置,它用于设置一个队列的优先级。在配置时,需要替换 <queue-name> 为具体队列的名称。
以下是配置 yarn.scheduler.capacity.root.<queue-name>.priority 的步骤:
1. 打开 YARN 配置文件 yarn-site.xml。
2. 添加以下配置项:
```
<property>
<name>yarn.scheduler.capacity.root.<queue-name>.priority</name>
<value><priority-value></value>
</property>
```
其中,<queue-name> 是要配置优先级的队列名称,<priority-value> 是要设置的优先级值,取值范围是 1-10,数字越小表示优先级越高。
3. 保存并关闭配置文件。
4. 重启 YARN。
配置完成后,YARN 调度器会根据队列的优先级来进行任务调度。优先级高的队列会先得到资源,优先级低的队列则会在高优先级队列没有任务时才得到资源。
相关问题
yarn.scheduler.capacity.node-locality-delay
yarn.scheduler.capacity.node-locality-delay是YARN调度器中的一个配置参数,用于控制任务在本地节点上调度的延迟时间。当一个作业提交到YARN集群时,YARN调度器会尽量将任务调度到与数据本地性最高的节点上,以减少数据传输延迟。这个参数指定了从任务被提交到调度器开始考虑本地性的时间间隔。
默认情况下,node-locality-delay的值为40ms。这意味着,当一个任务被提交后的40ms内,YARN调度器会优先考虑将任务调度到与数据本地性最高的节点上。如果在这个时间间隔内没有找到合适的节点,则会考虑非本地节点。
通过调整node-locality-delay的值,可以根据集群的特点和负载情况来优化任务的调度性能。较小的值可以使任务更快地被调度到本地节点上,但可能增加调度器的负载;较大的值可以减少调度器的负载,但可能导致任务在本地节点上的等待时间增加。
需要注意的是,修改这个参数可能需要重启YARN集群以使其生效。
vi yarn-site.xml <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>zhaosai</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>写注释
以下是针对这段代码的注释:
# 通过 vi 命令编辑 yarn-site.xml 文件
vi yarn-site.xml
# 在文件中插入以下配置信息
<configuration>
<property>
# 设置 YARN ResourceManager 的主机名为 zhaosai
<name>yarn.resourcemanager.hostname</name>
<value>zhaosai</value>
</property>
<property>
# 设置 NodeManager 的辅助服务为 mapreduce_shuffle
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>