yarn 参数设置
时间: 2023-11-04 09:01:15 浏览: 44
yarn的参数设置包括以下几个方面:
1. ApplicationMaster内存:用于提交任务到yarn上时为ApplicationMaster分配的内存量。一般建议设置为1G-4G,可以在yarn-site.xml中配置参数yarn.app.mapreduce.am.resource.mb。
2. 容器虚拟CPU内核:每台nodemanager节点提供给yarn进行调度管理的CPU核数大小。这个值需要根据每台服务器的内存来确定,一般建议配置为4-6核,可以在yarn-site.xml中配置参数yarn.nodemanager.resource.percentage-physical-cpu-limit。
3. 容器内存增量:当创建一个容器后,默认创建的容器资源无法支持任务运行,需要增加内存资源。一般建议配置为512MB,如果任务所涉及的数据或计算量较大,可以相应调整为1G,2G等。可以在yarn-site.xml中配置参数yarn.scheduler.increment-allocation-mb。
参考文献:
: 引用
: 引用
: 引用
相关问题
yarn参数配置cores
yarn参数配置cores是指在Yarn的配置文件yarn-site.xml中设置的关于每个节点的CPU核数的参数。具体的配置方法可以参考引用中的内容。在生产环境中,可以使用类似的配置案例来进行配置。例如,可以通过修改yarn-site.xml配置文件中的相应参数来指定每个节点的CPU核数。然后需要重新分发配置并重启集群,以使配置生效。最后,可以通过观察Yarn任务执行页面来确认配置是否生效。这样就可以实现对Yarn参数配置cores的操作了。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>
yarn top参数详解
yarn top是YARN的一个命令,用于查看正在运行的应用程序和其资源使用情况的实时快照。它提供了有关正在运行的应用程序、容器和节点的详细信息。
yarn top命令的参数如下:
1. -help:显示yarn top命令的帮助信息。
2. -apps [应用程序类型]:指定要显示的应用程序类型。可以使用逗号分隔多个应用程序类型。如果未指定,则显示所有类型的应用程序。
3. -states [应用程序状态]:指定要显示的应用程序状态。可以使用逗号分隔多个应用程序状态。如果未指定,则显示所有状态的应用程序。
4. -queues [队列名称]:指定要显示的队列名称。可以使用逗号分隔多个队列名称。如果未指定,则显示所有队列。
5. -live:监视实时更新,默认情况下,yarn top每秒刷新一次。
6. -delay [秒数]:设置刷新延迟时间,单位为秒。使用该参数可以调整刷新频率。
7. -relative:显示相对于总资源的使用情况,而不是绝对资源使用量。
8. -showvcores:显示虚拟内核(vcores)的使用情况。
9. -showresource:显示资源详细信息。
10. -columns [列名]:指定要显示的列名。可以使用逗号分隔多个列名。如果未指定,则显示默认列。
这些参数可以根据需要进行组合使用,以满足用户对正在运行的应用程序和资源使用情况的不同查询需求。