spark-submit提交任务过程中,指定使用用户A提交至队列B中,同时需要上传名为myProperties,properties的配置文件至工作目录,另外启动时指定启动15个executors,应该如何编写任务命令?
时间: 2024-05-11 22:13:38 浏览: 69
下面是一个示例的spark-submit命令:
```
spark-submit --master yarn --deploy-mode cluster \
--queue B \
--num-executors 15 \
--files myProperties.properties \
--conf spark.executor.extraJavaOptions=-Dconfig.file=myProperties.properties \
--class com.example.MySparkJob \
--name MySparkJob \
--principal userA \
--keytab /path/to/userA.keytab \
/path/to/MySparkJob.jar
```
解释如下:
- `--master yarn`:指定使用yarn作为Spark的资源管理器。
- `--deploy-mode cluster`:指定将Spark应用程序部署到集群模式。
- `--queue B`:指定将Spark应用程序提交到队列B中。
- `--num-executors 15`:指定启动15个执行器。
- `--files myProperties.properties`:指定上传名为myProperties.properties的配置文件到工作目录中。
- `--conf spark.executor.extraJavaOptions=-Dconfig.file=myProperties.properties`:指定Spark执行器使用名为myProperties.properties的配置文件。
- `--class com.example.MySparkJob`:指定Spark应用程序的入口类。
- `--name MySparkJob`:指定Spark应用程序的名称。
- `--principal userA`:指定Kerberos认证中的用户名。
- `--keytab /path/to/userA.keytab`:指定Kerberos认证中的keytab文件路径。
- `/path/to/MySparkJob.jar`:指定包含Spark应用程序代码的jar文件路径。
阅读全文