spark-submit程序
时间: 2023-07-05 21:25:51 浏览: 93
Spark-submit
Spark-submit是Spark的一个命令行工具,用于将Spark应用程序提交到集群上运行。它可以将打包好的应用程序(JAR、Python文件等)提交到一个运行Spark的集群上,也可以指定应用程序的参数和配置选项。
使用spark-submit提交应用程序的基本格式如下:
```
./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # other options
<application-jar> \
[application-arguments]
```
其中,`<main-class>`是应用程序的入口类;`<master-url>`是Spark集群的URL;`<deploy-mode>`是应用程序的部署模式(client或cluster);`<key>=<value>`是应用程序的配置选项;`<application-jar>`是应用程序的打包文件(JAR文件或Python文件);`[application-arguments]`是应用程序的命令行参数。
例如,下面的命令将一个Scala编写的WordCount应用程序提交到本地运行的Spark集群上:
```
./bin/spark-submit \
--class org.apache.spark.examples.WordCount \
--master local \
/path/to/examples.jar \
/path/to/input.txt
```
这个应用程序将会统计`/path/to/input.txt`文件中的单词出现次数。
阅读全文