CDH上如何让spark executor不分配到某些节点上

### 回答1：
在CDH上，您可以使用Spark的节点过滤功能来控制Spark Executor不分配到某些节点上。具体步骤如下：

1. 在CDH管理界面中找到您想要排除的节点，并将它们添加到排除列表中。

2. 在Spark配置中，设置spark.executor.excludeNodes参数，将排除列表的节点名称添加到该参数中，多个节点名称之间用逗号分隔。

例如，您可以在spark-defaults.conf文件中添加以下行：

spark.executor.excludeNodes=node1,node2,node3

3. 确认Spark Executor已经成功排除了指定的节点，可以在Spark UI的Executor页签中查看Executor的分配情况，排除的节点将不会出现在分配的Executor列表中。

请注意，这种方法并不是强制性的，Spark Executor仍然可以分配到被排除的节点上，特别是当资源不足时。如果您希望彻底避免Executor分配到某些节点上，您可以考虑在CDH中使用节点标签功能来更细粒度地控制节点的资源分配。

### 回答2：
在CDH上可以通过设置Spark的资源分配规则，来阻止Spark Executor被分配到某些节点上。

1. 在CDH的集群管理器中，打开Spark服务的配置页面。
2. 在"集群部署"部分，找到"Executor内存"和"Executor核心"的设置，分别表示每个Executor的内存和核心数量。
3. 在"高级配置分类(就是一个配置文件)"部分，找到"yarn-site.xml"的配置，打开编辑。
4. 在配置文件中，寻找"yarn.nodemanager.include-then-exclude- popular-hosts"或"yarn.scheduler.include-then-exclude- popular-hosts"的设置，如果没有，则需在其中添加。
5. 在该设置中，添加不想要分配Executor的节点。比如，"exclude"可以添加一个或多个节点，用逗号分隔。如需要排除节点A和节点B，则可以设置为"exclude = A,B"。
6. 保存配置文件并重启Spark服务，使配置生效。

通过以上步骤，我们就可以在CDH上让Spark Executor不分配到某些节点上。这样可以避免特定节点上的资源不被Spark使用，从而实现更加灵活的资源管理和分配策略。

### 回答3：
在CDH上，可以通过设置Spark的资源管理器来控制Executor不分配到某些节点上。

在yarn-site.xml文件中，可以使用以下属性来限制Executor分配到特定节点：
- yarn.scheduler.maximum-allocation-mb：指定每个节点的最大可用内存
- yarn.nodemanager.resource.memory-mb：指定每个节点的总内存量

通过调整这些属性，可以限制Executor被分配的节点的内存总量。例如，如果想要避免将Executor分配到节点A上，可以将节点A的内存量限制为较小的值，这将使资源管理器更倾向于将Executor分配到其他内存较大的节点上。

此外，还可以使用yarn.resourcemanager.exclude-list属性来指定不允许分配Executor的节点列表。在yarn-site.xml文件中添加以下配置：

<property>
    <name>yarn.resourcemanager.exclude-list</name>
    <value>hostname1,hostname2,...</value>
</property>

将hostname1, hostname2等替换为不希望分配Executor的主机名列表。

配置完毕后，重启YARN资源管理器，Executor将不再分配到被指定的节点上。

需要注意的是，以上配置是在集群级别生效的，所以在进行调整时需要考虑整个集群的资源分配情况和需求。