第3关:spark-submit提交

在Apache Spark中，`spark-submit`是一个命令行工具，用于运行Spark应用程序。它是Spark框架的核心部分，帮助用户将编写好的Scala、Python或Java程序打包成一个作业（Job），并提交到Spark集群上进行分布式计算。

以下是使用`spark-submit`的基本步骤：

1. **安装Spark**: 首先，你需要在本地机器或服务器上安装Spark，并配置环境变量。

2. **创建Spark应用**: 编写Spark应用，通常是一个包含主函数（main function）的Java、Scala或Py文件。

- Scala示例: `your_app_name_spark.scala`
- Python示例: `your_app_name.py`
- Java示例: 如果是传统的jar包，可以是`your_app_name.jar`

3. **打包应用**: 使用`maven`或`sbt`（Scala构建工具）对Scala项目进行打包，或者直接压缩Python或Java文件。

4. **提交任务**:

   spark-submit \
     --master <cluster_url>  # 集群地址，如local[4]表示本地模式，yarn表示YARN模式
     --class <fully_qualified_main_class_name>  # 主类名
     --jars <additional_jar_files>  # 可选，需要额外加载的jar文件
     --py-files <python_files>  # 可选，需要的Python模块
     --files <file_path>  # 可选，需要的文件路径
     --conf <configuration_properties>  # 可选，Spark配置项
     <application_archive_or_jar_file>  # 应用程序的打包文件

5. **查看日志**: `spark-submit`会返回一个作业ID，你可以通过这个ID监控作业的进度和结果，Spark的日志通常会在`logs`目录下。