spark yarn.scheduler.exclude.nodes这个配置可以在提交任务的时候指定吗

是的，spark.yarn.scheduler.exclude.nodes 这个配置是可以在提交任务的时候指定的。你可以通过在命令行中使用 --conf 选项来指定这个配置，例如：

spark-submit --conf "spark.yarn.scheduler.exclude.nodes=node1,node2" ...

这样，提交的任务在运行的时候将不会调度到 node1 和 node2 这两个节点上。

相关问题

spark.yarn.scheduler.exclude.nodes不生效

### 回答1：
`spark.yarn.scheduler.exclude.nodes` 是一个 Spark 的配置属性，用于指定在 Spark on YARN 中排除哪些节点。如果您发现该属性不起作用，可能是由于以下几个原因：

1. 配置错误：请确保您正确地设置了 `spark.yarn.scheduler.exclude.nodes` 属性，并在 Spark 应用程序中加载了该属性。您可以使用 `--conf` 参数在运行应用程序时加载该属性，例如：

spark-submit --conf spark.yarn.scheduler.exclude.nodes=node1,node2 --class <main-class> <application-jar>

2. 节点标识不正确：请确保您使用了正确的节点标识符。节点标识符可以是主机名、IP 地址或 YARN 集群中节点的 ID。您可以使用 `yarn node -list` 命令来获取所有节点的信息，并检查您要排除的节点的标识符是否正确。

3. YARN 配置问题：请检查您的 YARN 配置，确保您的 YARN 集群正确地配置了节点管理器和资源管理器，并且这些组件正在正常运行。

如果您已经检查了以上问题但仍然无法使 `spark.yarn.scheduler.exclude.nodes` 生效，请尝试检查 Spark 应用程序的日志，查找有关节点排除的错误或警告消息。

### 回答2：
spark.yarn.scheduler.exclude.nodes参数用于指定在YARN集群中排除某些节点，不在这些节点上进行Spark作业的调度。但是有时候我们发现设置了该参数后，并没有产生预期的效果，可能的原因如下：

1. 参数设置不正确：首先需要确保参数的正确性，包括参数名的拼写和大小写。可以通过查看Spark的配置文件来确认参数是否正确设置。

2. YARN配置问题：如果参数设置是正确的，但是依然不生效，可能是YARN本身的配置问题。可以检查YARN的配置文件，确保相关的参数和属性已正确设置。

3. 节点状态问题：有时候，节点可能处于不稳定的状态，包括网络故障、硬件故障等。在这种情况下，YARN可能无法正确识别和排除这些节点。可以通过查看YARN管理界面或者运行yarn node -list命令来验证节点的状态。

4. 节点标签问题：YARN还支持节点标签的功能，可以为集群中的节点打上不同的标签，并通过标签来进行调度。如果节点被打上了其他的标签，而这些标签并不符合我们排除的条件，那么排除节点的设置就不会生效。

综上所述，spark.yarn.scheduler.exclude.nodes参数不生效可能是由于参数设置不正确、YARN配置问题、节点状态问题或节点标签问题等原因导致的。需要仔细检查参数设置和YARN配置，并确保节点处于正确的状态和标签，以使参数生效。

### 回答3：
`spark.yarn.scheduler.exclude.nodes`参数用于设置在Spark应用程序中排除的节点列表。当设置此参数后，在节点黑名单上的节点将不会被分配给Spark应用程序任务执行。然而，有时可能会遇到`spark.yarn.scheduler.exclude.nodes`参数不生效的情况。以下是可能导致此问题的几个原因：

1. 配置错误: 请确保在设置`spark.yarn.scheduler.exclude.nodes`参数时，正确地指定了节点列表。检查节点列表中是否有任何拼写错误、多余的空格或其他不必要的字符。

2. 配置冲突: 如果您同时使用了`spark.yarn.scheduler.include.nodes`参数，它可能会覆盖`spark.yarn.scheduler.exclude.nodes`参数的设置。因此，请确保这两个参数的使用不会互相冲突。

3. 资源管理器限制: `spark.yarn.scheduler.exclude.nodes`参数需要与底层资源管理器（例如YARN或Mesos）集成。如果资源管理器不支持或未正确配置节点黑名单功能，`spark.yarn.scheduler.exclude.nodes`参数将不会起作用。

4. 任务已在节点上启动: 如果Spark应用程序的任务已经在需要排除的节点上启动，则节点黑名单的更改可能不会影响这些任务。在这种情况下，您可能需要手动停止这些任务并重新启动以获得正确的节点分配。

综上所述，要解决`spark.yarn.scheduler.exclude.nodes`参数不生效的问题，请仔细检查参数的配置、处理可能的配置冲突、确保资源管理器正确配置，并确保重启任务以应用节点黑名单更改。

如何配置 yarn.scheduler.capacity.root.<queue-name>.priority

yarn.scheduler.capacity.root.<queue-name>.priority 是 YARN 调度器的配置，它用于设置一个队列的优先级。在配置时，需要替换 <queue-name> 为具体队列的名称。

以下是配置 yarn.scheduler.capacity.root.<queue-name>.priority 的步骤：

1. 打开 YARN 配置文件 yarn-site.xml。

2. 添加以下配置项：

<property>
  <name>yarn.scheduler.capacity.root.<queue-name>.priority</name>
  <value><priority-value></value>
</property>

其中，<queue-name> 是要配置优先级的队列名称，<priority-value> 是要设置的优先级值，取值范围是 1-10，数字越小表示优先级越高。

3. 保存并关闭配置文件。

4. 重启 YARN。

配置完成后，YARN 调度器会根据队列的优先级来进行任务调度。优先级高的队列会先得到资源，优先级低的队列则会在高优先级队列没有任务时才得到资源。