spark on yarn 下任务提交时常用的参数有哪些

在 Spark on YARN 下，常用的任务提交参数包括：

1. `--master yarn`：指定 Spark 应用程序运行在 YARN 上。

2. `--deploy-mode`：指定应用程序的部署模式，可以选择为 client 或 cluster。

3. `--num-executors`：指定执行器的数量。

4. `--executor-memory`：指定每个执行器可用的内存量。

5. `--executor-cores`：指定每个执行器可用的 CPU 核心数量。

6. `--driver-memory`：指定驱动器程序可用的内存量。

7. `--queue`：指定 YARN 上的队列名称。

8. `--conf`：可以设置其他 Spark 配置参数。

例如：

spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode client \
    --num-executors 2 \
    --executor-memory 2G \
    --executor-cores 2 \
    --driver-memory 1G \
    --queue default \
    --conf spark.eventLog.enabled=true \
    --conf spark.eventLog.dir=hdfs://namenode:8021/directory \
    /path/to/examples.jar \
    10

这个例子中，我们使用 `spark-submit` 命令提交一个 Spark 应用程序，运行在 YARN 上，部署模式为 client，使用 2 个执行器，每个执行器可用的内存量为 2G，可用的 CPU 核心数量为 2，驱动器程序可用的内存量为 1G，运行在默认队列上，设置了事件日志和事件日志目录。最后，我们指定应用程序的主类为 `org.apache.spark.examples.SparkPi`，并传递了一个参数 10。