spark3测试案例提交
时间: 2023-08-02 19:41:12 浏览: 99
下面是一个简单的 Spark 3 测试案例的提交命令:
```
spark-submit --class com.example.MyApp --master spark://<master-url>:7077 --deploy-mode cluster --executor-memory 2g --total-executor-cores 4 myApp.jar
```
其中:
- `com.example.MyApp` 是你的应用程序的主类。
- `<master-url>` 是你的 Spark 集群的主节点地址。
- `--deploy-mode cluster` 表示将应用程序提交到 Spark 集群中运行。
- `--executor-memory 2g` 表示每个执行器的内存占用为 2GB。
- `--total-executor-cores 4` 表示总共使用 4 个执行器核心。
你需要将上述命令中的参数替换成你自己的应用程序需要的参数。另外,你还需要将你的应用程序打包成一个 JAR 文件,然后将 JAR 文件上传到 Spark 集群中,才能提交运行。
阅读全文