怎么用spark-submit运行jar包

可以使用以下命令运行jar包：

spark-submit --class your.main.class file.jar arg1 arg2 arg3...

其中，`--class`参数指定你的应用的主类，`file.jar`是你的Jar包文件名，`arg1`、`arg2`、`arg3`等是传递给你的应用程序的参数。

相关问题

spark-submit 给jar包中的main函数传递参数

可以通过在 `spark-submit` 命令中使用 `--conf` 选项来传递参数给 Spark 应用程序中的 `main` 函数。具体步骤如下：

1. 在应用程序中定义一个 `SparkConf` 对象，并使用 `set` 方法设置应用程序所需的配置属性，例如：

   val conf = new SparkConf()
     .setAppName("MyApp")
     .set("myProp", "myValue")

2. 在应用程序中使用 `get` 方法获取配置属性的值，例如：

   val myPropValue = conf.get("myProp")

3. 在 `spark-submit` 命令中使用 `--conf` 选项传递配置属性的值，例如：

   spark-submit --class com.example.MyApp \
     --master yarn \
     --conf spark.driver.extraJavaOptions="-DmyProp=myValue" \
     my-app.jar

这里使用 `spark.driver.extraJavaOptions` 属性来传递参数，其中 `-DmyProp=myValue` 表示设置 `myProp` 属性的值为 `myValue`。这个参数会被传递给 `main` 函数的 `args` 参数。在应用程序中可以通过 `args(0)` 获取该参数的值。

如果需要传递多个参数，可以使用逗号分隔，例如：

   --conf spark.driver.extraJavaOptions="-Dprop1=value1,-Dprop2=value2"

在应用程序中可以使用 `args` 数组获取所有传递的参数。

spark-submit --class org.apache.spark.examples.SparkPi --master yarn examples/jars/spark-examples_2.12-3.0.2.jar 10

这是一个使用 Spark 提交作业的命令，其中：

--class org.apache.spark.examples.SparkPi ：指定要运行的主类

--master yarn ：指定运行模式为 Yarn

examples/jars/spark-examples_2.12-3.0.2.jar ：要运行的 jar 包路径

10 ：SparkPi 运行时传递的参数，这里指定为 10。具体来说，SparkPi 是一个计算 Pi 值的示例程序，这个参数表示要计算的分区数。