flink yarn模式部署
时间: 2023-08-15 12:04:09 浏览: 191
flink on yarn.txt
在Flink中使用YARN模式部署,可以将Flink作业提交到YARN集群上运行。下面是部署步骤:
1. 首先,确保你已经安装并配置好了YARN集群和Flink。
2. 打开Flink的conf/flink-conf.yaml文件,并设置以下属性:
```
# 设置执行环境为YARN
execution.mode: yarn-session
# 设置YARN的Application Master内存
yarn.application-master.memory: 1024m
# 设置TaskManager的内存
taskmanager.memory.process.size: 1024m
# 设置TaskManager的数量
taskmanager.numberOfTaskSlots: 1
# 设置YARN队列名称
yarn.application-name: my-flink-job
yarn.application.queue: default
# 设置YARN ResourceManager的地址
yarn.resourcemanager.address: yarn-cluster
# 设置Flink的默认并行度
parallelism.default: 1
```
3. 提交作业到YARN集群上:
```
./bin/flink run -m yarn-cluster -yn 2 -ys 2 -yjm 1024 -ytm 1024 examples/streaming/WordCount.jar`
```
上述命令将WordCount示例作业提交到YARN集群上,其中`-yn`参数指定了YARN容器的数量,`-ys`参数指定了YARN的slot数量,`-yjm`参数指定了YARN的Application Master内存,`-ytm`参数指定了TaskManager的内存。
4. 监控作业状态:
```
./bin/flink list -m yarn-cluster
```
可以使用上述命令来查看当前在YARN集群上运行的Flink作业列表和状态。
这样,你就可以在YARN模式下成功部署和运行Flink作业了。请确保你已经根据实际情况修改了相应的配置参数。希望对你有所帮助!
阅读全文