yarn 单作业启动模式命令 flink
时间: 2024-08-12 07:04:10 浏览: 50
flink-1.12-CDH-6.3.2.zip
YARN (Yet Another Resource Negotiator) 是一种资源管理系统,用于Hadoop生态系统,包括Apache Flink在内的分布式计算框架。在Flink中,单作业启动模式通常是指将整个作业打包成一个JAR文件,然后通过YARN提交运行。
在Flink中使用YARN单作业启动,你可以按照以下步骤操作:
1. 创建一个包含所有依赖的自定义JAR文件,这通常涉及到`./bin/flink run`命令,加上你的JobManager配置和作业代码。
示例命令:
```
$ bin/flink run -c your_job_class_name -m YarnSessionCluster --jar target/your-jar.jar --yarn-application-id your_application_id
```
其中:
- `-c your_job_class_name` 指定主类名,即包含Flink作业入口点的类。
- `-m YarnSessionCluster` 指定Flink集群模式为YARN Session Cluster(非持久化)。
- `--jar target/your-jar.jar` 提供你的自定义JAR路径。
- `--yarn-application-id` 设置YARN应用ID,它有助于跟踪作业。
2. 配置YARN环境变量,如`HADOOP_CONF_DIR`、`YARN_HOME`等,确保Flink可以正确连接到YARN。
3. 如果需要,还可以提供其他YARN选项,比如设置资源请求 (`--yarn-memory` 或 `--yarn-resource.memory`) 和容器的数量 (`--yarn-resources` 或 `--yarn-num-containers`)
阅读全文