这条命令 ./spark-submit --class org.apache.spark.examples.SparkPi --master local ../examples/jars/spark-examples_2.11-2.1.0.jar 10 各参数的作用
时间: 2024-04-13 22:27:24 浏览: 32
这条命令是用来提交一个Spark应用程序,并在本地模式下运行SparkPi示例。下面是各个参数的作用解释:
- `./spark-submit`: 这是用于启动Spark应用程序的命令。
- `--class org.apache.spark.examples.SparkPi`: 指定要运行的应用程序的主类,这里是`org.apache.spark.examples.SparkPi`,它是Spark提供的一个计算圆周率的示例。
- `--master local`: 指定Spark应用程序的主节点地址,这里使用`local`表示在本地模式下运行。
- `../examples/jars/spark-examples_2.11-2.1.0.jar`: 指定要提交的应用程序的jar文件路径,这里是Spark提供的示例jar文件路径。
- `10`: 这是SparkPi示例程序所需要的参数,表示将生成多少个随机数来估计圆周率。
通过执行这条命令,Spark将会启动一个本地模式的集群,并运行SparkPi示例程序来估计圆周率。
相关问题
spark-submit --class org.apache.spark.examples.SparkPi --master yarn examples/jars/spark-examples_2.12-3.0.2.jar 10
这是一个使用 Spark 提交作业的命令,其中:
--class org.apache.spark.examples.SparkPi :指定要运行的主类
--master yarn :指定运行模式为 Yarn
examples/jars/spark-examples_2.12-3.0.2.jar :要运行的 jar 包路径
10 :SparkPi 运行时传递的参数,这里指定为 10。具体来说,SparkPi 是一个计算 Pi 值的示例程序,这个参数表示要计算的分区数。
compilation terminated. examples/software-device/CMakeFiles/rs-software-devi
ce.dir/build.make:62: recipe for target 'examples/software-device/CMakeFiles/rs-software-device.dir/main.cpp.o' failed
make[2]: *** [examples/software-device/CMakeFiles/rs-software-device.dir/main.cpp.o] Error 1
CMakeFiles/Makefile2:197: recipe for target 'examples/software-device/CMakeFiles/rs-software-device.dir/all' failed
make[1]: *** [examples/software-device/CMakeFiles/rs-software-device.dir/all] Error 2
Makefile:129: recipe for target 'all' failed
make: *** [all] Error 2
相关推荐
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)