"自定义配置文件中相关参数-uml参考手册"
在Hadoop的YARN（Yet Another Resource Negotiator）框架中，自定义配置文件对于优化集群资源管理和调度至关重要。配置文件中的参数设置能够影响到资源分配的公平性、效率以及应用的运行。以下是配置文件中几个关键参数的详细说明：
1. `minResources`：这个参数定义了队列所需的最小资源保障，格式为“X mb, Y vcores”，其中X代表内存MB数，Y代表虚拟CPU核心数。它确保队列至少可以获得这些资源来运行应用程序。
2. `maxResources`：此参数设定了队列的最大资源使用限制，防止一个队列过度消耗资源，影响其他队列的公平性。它保证每个队列的资源使用不会超过设定的最大值。
3. `maxRunningApps`：队列能同时运行的最大应用程序数。当达到这个限制时，新提交的应用会被放入队列等待执行。
4. `minSharePreemptionTimeout`：这是最小共享量抢占时间，如果一个队列长时间无法达到其最小资源保证，调度器会在等待时间过后启动资源抢占，将资源分配给等待的应用。
5. `schedulingMode/schedulingPolicy`：这两个参数决定了队列的调度策略。可以设置为FIFO（先进先出）、Fair（公平）或DRF（Dominant Resource Fairness），默认情况下，队列内部使用Fair策略，保证资源的公平分配。
6. `aclSubmitApps`：指定哪些Linux用户或用户组可以向队列提交应用程序。默认值“*”意味着所有用户都有权提交。
7. `aclAdministerApps`：设定队列管理员，他们有权限管理队列，如修改配置、查看状态等。
Fair Scheduler作为Hadoop的一种调度器，其优势包括：
- **资源公平共享**：在每个队列内，可以根据FIFO、Fair或DRF策略分配资源。Fair策略尤其强调资源的公平分配，确保每个应用都有平等的机会获取资源。
- **资源抢占**：当队列中有空闲资源时，Fair Scheduler会将这些资源分配给需要的其他队列。如果队列中的应用长时间占用资源不释放，调度器会进行资源抢占，保证整体资源的有效利用。
- **任务负载均衡**：Fair Scheduler通过监控任务数量进行负载均衡，当某些应用的任务过多时，会尝试重新分配资源以减少队列间的资源不平衡。
这篇硕士论文《Hadoop YARN资源分配与调度的研究》深入探讨了Hadoop YARN的资源管理和调度策略，包括作业调度和任务调度层面，研究了Hadoop的资源调度机制和推测执行机制，并针对现有问题提出了可能的解决方案，旨在提高系统的资源利用率、减少计算时间，从而提升整体性能和降低成本。
我的内容管理
展开
