通过yarn提交perjob的flink任务设置内存和cpu
时间: 2023-05-27 19:02:09 浏览: 290
yarn内存和CPU配置
在使用yarn提交perjob的flink任务时,可以通过以下方式设置内存和CPU:
1. 通过--yarn-properties参数设置yarn的参数。示例命令:
```
yarn per-job -m 4g -yD yarn.app.mapreduce.am.resource.cpu-vcores=2 -yD yarn.app.mapreduce.am.resource.memory-mb=4096
```
上述命令设置了flink任务的内存为4G,yarn的CPU核心数为2,yarn的内存为4096M。可以根据实际需要进行修改。
2. 通过flink-conf.yaml文件设置flink的参数。示例内容:
```
jobmanager.memory.process.size: 1024m
taskmanager.memory.process.size: 2048m
```
上述设置将jobmanager的内存设置为1G,taskmanager的内存设置为2G。可以根据实际需要进行修改。
注意:以上两种方式只能选择其中一种进行设置,否则会出现参数冲突的问题。
阅读全文