提交到yarn上的任务怎么固定分配给它的cpu核数和内存大小
时间: 2023-08-05 22:37:49 浏览: 93
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
在提交任务时,可以使用以下命令来指定CPU核数和内存大小:
```
yarn jar <path-to-jar> <main-class> -Dmapreduce.map.memory.mb=<memory> -Dmapreduce.map.cpu.vcores=<cores> -Dmapreduce.reduce.memory.mb=<memory> -Dmapreduce.reduce.cpu.vcores=<cores> ...
```
其中,`<memory>`为内存大小(以MB为单位),`<cores>`为CPU核数。通过指定以上参数,可以将任务提交到YARN上,并固定分配给它的CPU核数和内存大小。
阅读全文