spark on k8s开启Adaptive Scheduling

要在Kubernetes上启用Spark的Adaptive Scheduling功能，你需要进行以下步骤：

1. 确保你已经安装了Kubernetes集群，并且拥有一个可用的Spark安装。

2. 在你的Spark配置文件中，启用Adaptive Scheduling功能。你可以通过设置`spark.dynamicAllocation.enabled`为`true`来实现。这将允许Spark在运行时根据任务需求自动调整资源分配。

3. 在Kubernetes上创建一个Spark应用程序的Pod描述文件，该文件将定义Spark应用程序的运行环境和资源要求。此文件可以是一个YAML或JSON文件。

4. 在Pod描述文件中，确保你设置了以下参数以启用Adaptive Scheduling：
- `spark.kubernetes.executor.podTemplateFile`: 指定一个模板文件，该文件定义了执行器Pod的规范和配置。
- `spark.kubernetes.resourceStagingServer.uri`: 指定一个用于资源暂存的URI，用于在不同任务之间共享资源。

5. 在Kubernetes上部署Spark应用程序的Pod。你可以使用`kubectl`命令或Kubernetes API来完成此操作。

一旦你完成了以上步骤，Spark就会在Kubernetes上启用Adaptive Scheduling功能。它将会根据任务的需求自动调整资源的分配，并且可以更好地适应不同任务的负载。