yarn上可用资源是怎么配置的?
时间: 2023-05-29 14:07:04 浏览: 122
在YARN中,可用资源是由两个主要组件来配置的:ResourceManager和NodeManager。
1. ResourceManager:ResourceManager是YARN集群中的一个主要组件,它负责管理所有可用的资源,并为应用程序分配资源。ResourceManager还负责监视和管理NodeManager和应用程序的生命周期。
ResourceManager可以通过以下参数来配置可用资源:
- yarn.scheduler.minimum-allocation-vcores:指定每个容器最少需要的虚拟内核数(vcores)。
- yarn.scheduler.maximum-allocation-vcores:指定每个容器最多可以使用的虚拟内核数(vcores)。
- yarn.scheduler.minimum-allocation-mb:指定每个容器最少需要的内存大小(以MB为单位)。
- yarn.scheduler.maximum-allocation-mb:指定每个容器最多可以使用的内存大小(以MB为单位)。
2. NodeManager:NodeManager是YARN集群中的另一个主要组件,它运行在每个节点上,并负责管理该节点上的资源。NodeManager负责启动和停止容器,并监视它们的资源使用情况。
NodeManager可以通过以下参数来配置可用资源:
- yarn.nodemanager.resource.memory-mb:指定该节点上可用的内存大小(以MB为单位)。
- yarn.nodemanager.resource.cpu-vcores:指定该节点上可用的虚拟内核数(vcores)。
- yarn.nodemanager.resource.percentage-physical-cpu-limit:指定该节点上可用的物理CPU百分比。
通过以上参数,ResourceManager和NodeManager可以配置集群中的可用资源,以便应用程序可以获得所需的资源来运行。
阅读全文