spark-submit --class org.apache.spark.examples.SparkPi --master yarn examples/jars/spark-examples_2.12-3.0.2.jar 10
时间: 2024-04-06 14:13:51 浏览: 311
spark-core_2.12-3.0.0.jar
这是一个使用 Spark 提交作业的命令,其中:
--class org.apache.spark.examples.SparkPi :指定要运行的主类
--master yarn :指定运行模式为 Yarn
examples/jars/spark-examples_2.12-3.0.2.jar :要运行的 jar 包路径
10 :SparkPi 运行时传递的参数,这里指定为 10。具体来说,SparkPi 是一个计算 Pi 值的示例程序,这个参数表示要计算的分区数。
阅读全文