yarn 参数设置

yarn的参数设置包括以下几个方面：

1. ApplicationMaster内存：用于提交任务到yarn上时为ApplicationMaster分配的内存量。一般建议设置为1G-4G，可以在yarn-site.xml中配置参数yarn.app.mapreduce.am.resource.mb。

2. 容器虚拟CPU内核：每台nodemanager节点提供给yarn进行调度管理的CPU核数大小。这个值需要根据每台服务器的内存来确定，一般建议配置为4-6核，可以在yarn-site.xml中配置参数yarn.nodemanager.resource.percentage-physical-cpu-limit。

3. 容器内存增量：当创建一个容器后，默认创建的容器资源无法支持任务运行，需要增加内存资源。一般建议配置为512MB，如果任务所涉及的数据或计算量较大，可以相应调整为1G，2G等。可以在yarn-site.xml中配置参数yarn.scheduler.increment-allocation-mb。

参考文献：
: 引用
: 引用
: 引用

相关问题

yarn参数配置cores

yarn参数配置cores是指在Yarn的配置文件yarn-site.xml中设置的关于每个节点的CPU核数的参数。具体的配置方法可以参考引用中的内容。在生产环境中，可以使用类似的配置案例来进行配置。例如，可以通过修改yarn-site.xml配置文件中的相应参数来指定每个节点的CPU核数。然后需要重新分发配置并重启集群，以使配置生效。最后，可以通过观察Yarn任务执行页面来确认配置是否生效。这样就可以实现对Yarn参数配置cores的操作了。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>

yarn 如何设置AppMaster 内存

在 YARN 中，可以通过以下两种方式设置 AppMaster 的内存：

1. 通过在提交应用程序时使用命令行参数来设置内存大小：

yarn jar <your-app-jar> <your-app-class> -Xmx<your-memory-size>

其中，`-Xmx` 参数用于设置 AppMaster 的最大堆大小。

2. 通过在 `yarn-site.xml` 配置文件中设置 `yarn.app.mapreduce.am.resource.mb` 属性来设置内存大小。该属性表示 AppMaster 的最大内存限制，以 MB 为单位。例如，设置为 2048 表示 AppMaster 的最大内存限制为 2GB。

<property>
  <name>yarn.app.mapreduce.am.resource.mb</name>
  <value>2048</value>
</property>

注意，这种方式设置的内存大小会影响所有提交的应用程序的 AppMaster 内存大小。因此，如果需要针对某个特定的应用程序设置不同的内存大小，应该使用第一种方式进行设置。