flink的yarn模式的任务调度流程
时间: 2023-04-06 18:02:52 浏览: 224
big-whale:Spark、Flink等离线任务的调度以及实时任务的监控
可以回答这个问题。在Flink的Yarn模式下,任务调度流程如下:
1. 用户提交Flink应用程序到Yarn集群。
2. Yarn ResourceManager接收到应用程序请求后,会为该应用程序分配一个ApplicationMaster。
3. ApplicationMaster启动后,会向ResourceManager申请资源,包括CPU、内存等。
4. ResourceManager根据资源的可用情况,为ApplicationMaster分配资源。
5. ApplicationMaster启动后,会向ResourceManager申请TaskManager资源,用于执行Flink任务。
6. ResourceManager根据资源的可用情况,为ApplicationMaster分配TaskManager资源。
7. ApplicationMaster将Flink任务提交到TaskManager中执行。
8. TaskManager执行Flink任务,并将结果返回给ApplicationMaster。
9. ApplicationMaster将结果返回给用户。
以上就是Flink的Yarn模式下的任务调度流程。
阅读全文