spark任务 命令行提交

可以使用 `spark-submit` 命令来提交 Spark 任务。下面是一个简单的示例：

spark-submit --class com.example.MyApp --master yarn --deploy-mode cluster /path/to/myapp.jar arg1 arg2

其中：

- `--class` 指定主类。
- `--master` 指定 Spark 集群的 URL。
- `--deploy-mode` 指定应用程序的部署模式，可以是 `client` 或 `cluster`。
- 最后一个参数是应用程序 JAR 包的路径。
- `arg1` 和 `arg2` 是应用程序的参数，可以根据需要添加。

如果需要在提交作业时指定多个 JAR 包，可以使用 `--jars` 参数，例如：

spark-submit --class com.example.MyApp --master yarn --deploy-mode cluster --jars /path/to/jar1.jar,/path/to/jar2.jar /path/to/myapp.jar arg1 arg2

注意：

- 如果使用 `--deploy-mode client`，则应用程序将在提交作业的机器上运行，而不是在集群中运行。
- 在集群中运行作业时，应用程序 JAR 包和依赖项应该上传到集群中的某个位置，例如 HDFS 或本地文件系统。可以使用 `--files` 或 `--archives` 参数将文件上传到集群中的某个位置，然后在应用程序中使用 `SparkFiles.get()` 方法来获取文件路径。
- 在使用 `--master yarn` 时，还需要设置一些 YARN 相关的参数，例如 `--num-executors`、`--executor-cores`、`--executor-memory` 等，以控制作业的资源使用。可以使用 `--conf` 参数来设置 Spark 和 Hadoop 的配置参数。