spark-submit学习

`spark-submit`是Spark 提交应用程序的命令行工具，用于将 Spark 应用程序提交到集群中运行。使用该命令，可以在 Spark 集群上启动一个应用程序，不论是在本地模式还是在一个真实的集群上。

`spark-submit`命令语法如下：

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

其中，参数说明如下：

- `--class`：Spark 应用程序的入口类。
- `--master`：Spark 集群的 URL。
- `--deploy-mode`：应用程序的运行模式，包括 `client` 模式和 `cluster` 模式。
- `--conf`：设置 Spark 配置属性。
- `application-jar`：打包好的应用程序 JAR 文件路径。
- `application-arguments`：应用程序的命令行参数。

下面是一个使用 `spark-submit` 命令提交一个 Spark 应用程序的示例：

./bin/spark-submit \
  --class com.example.WordCount \
  --master spark://localhost:7077 \
  --deploy-mode client \
  --executor-memory 2G \
  --total-executor-cores 4 \
  app.jar \
  data.txt

在这个示例中，我们将 `com.example.WordCount` 类作为入口类，将应用程序提交到 Spark 集群的地址为 `spark://localhost:7077`，使用 `client` 模式运行应用程序，设置每个 Executor 的内存为 2GB，总共使用 4 个 Executor，应用程序的 JAR 文件为 `app.jar`，并将 `data.txt` 文件作为应用程序的命令行参数。

总之，`spark-submit` 是 Spark 提交应用程序的重要命令行工具，通过学习和使用该工具，可以更方便地将 Spark 应用程序部署到集群中运行。