spark-yarn模式的执行流程
时间: 2023-05-31 09:06:22 浏览: 122
spark-2.2.2安装流程
1. 客户端提交应用程序:客户端将应用程序的jar包和配置文件提交给YARN ResourceManager。
2. ResourceManager启动ApplicationMaster:ResourceManager选取一个NodeManager,启动ApplicationMaster,ApplicationMaster负责应用程序的管理和资源调度。
3. ApplicationMaster向ResourceManager申请资源:ApplicationMaster向ResourceManager申请需要的资源,ResourceManager根据当前集群资源情况进行资源分配。
4. ApplicationMaster启动Executor:ApplicationMaster得到资源后,启动Executor在NodeManager上运行Executor。
5. Executor启动任务:Executor启动任务,执行应用程序的任务。
6. 任务执行:任务根据应用程序的逻辑进行计算。
7. 任务结束:任务执行结束后,将结果写入HDFS或其他存储介质。
8. ApplicationMaster关闭Executor:任务执行结束后,ApplicationMaster通知Executor关闭。
9. ApplicationMaster释放资源:ApplicationMaster释放占用的资源。
10. 应用程序结束:应用程序执行完毕,ResourceManager释放占用的资源,应用程序退出。
阅读全文