Hadoop YARN资源调度优化：SRSAPH算法研究

"Hadoop YARN资源分配与调度的研究" 这篇硕士论文主要探讨了Hadoop YARN框架下的资源分配和调度策略。Hadoop作为一种分布式存储和并行计算平台，因其高可靠性和可扩展性而在云计算环境中广泛应用。在并行计算领域，资源调度是一个核心问题，直接影响到系统的性能和效率。 YARN作为Hadoop的资源管理系统，内置了多种调度器，如 FIFO、Capacity Scheduler 和 Fair Scheduler。然而，随着应用需求的复杂化，这些默认调度器可能无法满足所有用户的需求。因此，研究者针对Hadoop YARN进行了深入分析，旨在提出更高效的资源调度解决方案。 论文中提到的算法——SRSAPH 资源调度器，其特点在于： 1. 全面考虑因素：该算法综合考虑了节点的内存、负载、CPU速率以及作业在节点上的失败率，对集群性能进行全面评估，以指导资源的分配，这有助于优化整体性能。 2. 引入粒子群优化算法元素：借鉴粒子群算法的高精度和快速收敛特性，提高了蚁群算法的收敛速度。在Hadoop环境下，设计了适应资源请求与分配的调度策略。 3. 自适应挥发因子：为解决蚁群算法易陷入局部最优的问题，论文提出了一个动态调整的挥发系数机制。当算法波动大时，挥发系数较小，波动趋于稳定时，系数增大，以此防止算法陷入局部最优，增强了算法的全局寻优能力。 实验结果表明，SRSAPH 调度器能有效降低集群作业的执行时间，并且具有良好的鲁棒性，即面对环境变化或故障时仍能保持稳定性能。 这篇论文的作者李媛祯在导师杨群副教授的指导下，对Hadoop YARN的作业调度和任务调度进行了深入研究，同时也对Hadoop的资源调度机制和推测执行机制进行了分析，旨在改进现有调度策略，提高资源利用率和系统性能，从而降低成本。作者还同意授权南京航空航天大学使用论文内容进行数据库检索和复制保存。