yarn-site.xml 参数调优

YARN（Yet Another Resource Negotiator）是Hadoop 2.x中的一个集群资源管理器，它的任务是为集群中的应用程序分配资源，并协调集群中的计算资源。对于YARN集群而言，参数调优是非常重要的，它可以极大地影响集群的性能和稳定性。下面介绍一些常见的YARN参数调优方法：

1. yarn.scheduler.maximum-allocation-mb：该参数定义了YARN管理的每个容器的最大内存大小，默认为8192 MB。可以根据集群内存大小及应用程序内存需求进行调整。

2. yarn.scheduler.minimum-allocation-mb：该参数定义了YARN管理的每个容器的最小内存大小，默认为1024 MB。可以根据应用程序内存需求进行调整。

3. yarn.nodemanager.resource.memory-mb：该参数定义了每个节点管理器可以使用的最大内存大小，默认为8192 MB。可以根据节点物理内存大小进行调整。

4. yarn.nodemanager.resource.cpu-vcores：该参数定义了每个节点管理器可以使用的最大CPU核心数，默认为8个。可以根据节点CPU核心数进行调整。

5. yarn.scheduler.minimum-allocation-vcores：该参数定义了YARN管理的每个容器的最小CPU核心数，默认为1个。可以根据应用程序CPU需求进行调整。

6. yarn.scheduler.maximum-allocation-vcores：该参数定义了YARN管理的每个容器的最大CPU核心数，默认为32个。可以根据集群CPU核心数进行调整。

7. yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs：这两个参数定义了节点管理器的本地目录和日志目录。可以根据节点磁盘空间大小和性能进行调整。

8. yarn.nodemanager.delete.debug-delay-sec：该参数定义了节点管理器在删除容器后等待的时间，默认为0秒。可以根据节点磁盘空间大小和性能进行调整。

9. yarn.application.max-attempts：该参数定义了应用程序失败后最大的重试次数，默认为2次。可以根据应用程序的重要性进行调整。

10. yarn.nodemanager.vmem-check-enabled：该参数定义了节点管理器是否启用虚拟内存检查，默认为true。可以根据应用程序的内存特性进行调整。

总之，不同的YARN集群需要根据自身的硬件配置和应用程序需求进行参数调优，以达到最佳的性能和稳定性。