请说出Flink On Yarn的作业完整提交流程
时间: 2024-01-14 16:05:18 浏览: 132
作业提交程序
1. 将Flink程序打包成jar文件,并上传到Hadoop集群中的某个目录中。
2. 在Yarn资源管理器中,使用命令行或Web UI提交Flink作业,指定Flink程序的jar包路径、入口类、程序参数等信息。
3. Yarn资源管理器将根据作业配置信息,在集群中为Flink作业申请所需的计算资源和内存资源。
4. Yarn资源管理器将资源分配给Flink作业所在的容器,并启动容器。
5. Flink作业程序在容器中启动,通过Flink的ResourceManager向Yarn申请所需的TaskManager资源。
6. Yarn资源管理器将资源分配给TaskManager,并启动TaskManager。
7. Flink作业程序将作业图提交给TaskManager,开始执行任务。
8. 在作业执行过程中,Flink的JobManager会定期向ResourceManager申请更多的TaskManager资源,以适应作业的需求。
9. 作业执行完毕后,Flink程序将结果输出到指定的目标位置。
10. Yarn资源管理器将容器和TaskManager资源释放回资源池,等待下一个作业的提交。
阅读全文