spark的submit提交流程
时间: 2023-11-22 15:40:38 浏览: 76
spark 分布式集群搭建
1. 开发者使用 Spark 提供的命令行工具或 API 将应用程序打包成 JAR 文件。
2. 开发者使用 Spark 提供的命令行工具或 API 将 JAR 文件提交给 Spark 集群。
3. Spark 集群接收到应用程序的 JAR 文件后,会启动一个 Driver Program(Driver Program 是一个运行在集群的某个节点上的主程序)。
4. Driver Program 会向 Spark 集群请求资源(CPU、内存等),Spark 集群会根据资源管理器(如 YARN、Mesos 等)进行资源分配。
5. 分配完成后,Spark 集群会启动多个 Executor 进程,每个 Executor 进程运行在一个集群节点上,用来执行应用程序的任务。
6. Driver Program 将应用程序的任务分发给多个 Executor 进程执行,每个 Executor 进程会将结果返回给 Driver Program。
7. Driver Program 将多个 Executor 进程的结果进行汇总并输出结果。
8. 应用程序执行完成后,Spark 集群会释放资源。
阅读全文