spark源码系列(一):spark作业提交流程
时间: 2023-04-25 22:02:35 浏览: 239
Spark源码系列(一)spark-submit提交作业过程
Spark作业提交流程包括以下几个步骤:
1. 用户编写Spark应用程序,并将其打包成jar包。
2. 用户使用spark-submit命令提交应用程序,该命令会启动一个Driver程序。
3. Driver程序向Cluster Manager(如YARN或Mesos)发送应用程序的jar包和配置信息。
4. Cluster Manager根据资源情况为应用程序分配Executor资源,并启动Executor进程。
5. Executor进程向Driver程序发送心跳信息,表示它们已经准备好接收任务。
6. Driver程序将应用程序的任务分发给Executor进程。
7. Executor进程执行任务,并将结果返回给Driver程序。
8. Driver程序将结果汇总并输出。
9. 应用程序执行完毕后,Driver程序会关闭Executor进程并退出。
以上就是Spark作业提交流程的详细步骤。
阅读全文