请说出Flink On Yarn的作业完整提交流程
时间: 2024-01-14 09:05:18 浏览: 136
1. 将Flink程序打包成jar文件,并上传到Hadoop集群中的某个目录中。
2. 在Yarn资源管理器中,使用命令行或Web UI提交Flink作业,指定Flink程序的jar包路径、入口类、程序参数等信息。
3. Yarn资源管理器将根据作业配置信息,在集群中为Flink作业申请所需的计算资源和内存资源。
4. Yarn资源管理器将资源分配给Flink作业所在的容器,并启动容器。
5. Flink作业程序在容器中启动,通过Flink的ResourceManager向Yarn申请所需的TaskManager资源。
6. Yarn资源管理器将资源分配给TaskManager,并启动TaskManager。
7. Flink作业程序将作业图提交给TaskManager,开始执行任务。
8. 在作业执行过程中,Flink的JobManager会定期向ResourceManager申请更多的TaskManager资源,以适应作业的需求。
9. 作业执行完毕后,Flink程序将结果输出到指定的目标位置。
10. Yarn资源管理器将容器和TaskManager资源释放回资源池,等待下一个作业的提交。
相关问题
Flink On Yarn的作业完整提交流程
Flink On Yarn的作业完整提交流程包括以下步骤:
1. 在Flink Web UI上提交作业,并生成Jar包。
2. 将Jar包上传至HDFS。
3. 在YARN上以Session Cluster模式启动Flink集群。
以上步骤将Flink应用程序打包并在Yarn上启动,最终可通过Flink Web UI查看应用程序的运行状态和日志信息。
flink on yarn配置
Flink on YARN的配置包括以下几个步骤:
1. 安装JDK
2. 安装Zookeeper
3. 安装Hadoop
4. 下载并安装Flink
5. 提交Flink作业到YARN集群
请按照以下步骤配置Flink on YARN:
1. 首先,安装JDK并确保已正确设置JAVA_HOME环境变量。
2. 接下来,安装Zookeeper。您可以根据您的需求从Zookeeper的官方网站上下载并安装最新版本的Zookeeper。
3. 安装Hadoop。您可以根据您的需求从Hadoop的官方网站上下载并安装最新版本的Hadoop。
4. 下载Flink,并将其解压缩到您选择的目录中。
5. 在Flink的安装目录中,使用以下命令提交Flink作业到YARN集群:
```shell
./bin/flink run -m yarn-cluster -p <parallelism> -yjm <jobmanager_memory> -ytm <taskmanager_memory> <jar_file> <arguments>
```
请替换以下参数:
- `<parallelism>`:作业并行度(即任务数量)
- `<jobmanager_memory>`:JobManager的内存大小(例如,1024m表示1GB)
- `<taskmanager_memory>`:TaskManager的内存大小(例如,4096m表示4GB)
- `<jar_file>`:您要提交的Flink作业的jar文件路径
- `<arguments>`:您要传递给作业的其他参数(如果有的话)
以上是Flink on YARN的配置步骤。请按照上述步骤进行配置,并根据您的需求进行相应的参数调整。
阅读全文