Hadoop YARN资源调度优化研究-李媛祯硕士论文

"获“科技创新先进个人”荣誉-uml参考手册" 这篇摘要介绍的是关于研究生李媛祯的研究工作，她在2015年获得了“科技创新先进个人”的荣誉，其研究领域聚焦于Hadoop YARN的资源分配与调度。李媛祯的硕士学位论文主题是“Hadoop YARN资源分配与调度的研究”，属于计算机科学与技术专业的并行计算方向，由杨群副教授指导，完成于南京航空航天大学。 Hadoop是一个广泛应用于云计算环境的分布式存储和计算框架，其特点包括高可靠性、高扩展性和高容错性。YARN（Yet Another Resource Negotiator）作为Hadoop的资源管理系统，内置了多种调度器来管理集群资源。然而，随着应用的复杂性和需求的增长，这些内置调度器可能无法满足所有用户的需求。因此，李媛祯的研究着重于如何优化资源分配和调度策略，以提高系统资源的利用率，减少计算时间，进而提升整体系统性能并降低运行成本。 论文深入探讨了Hadoop YARN的资源分配和调度机制，从作业调度和任务调度两个层面进行分析。作业调度关注的是如何将作业有效地分配到集群的不同节点上，而任务调度则关注如何在节点内部合理地分配任务，确保计算效率。同时，李媛祯还研究了Hadoop的推测执行机制，这是一种用于提高系统效率的技术，通过预测和补偿潜在的慢速任务来加速整体计算进程。 通过对这些机制的深入理解和改进，李媛祯的工作为Hadoop YARN提供了可能的优化方案，这不仅对Hadoop生态系统有直接的贡献，也对并行计算领域的理论研究和技术发展有着积极的推动作用。此外，这样的研究对于解决大数据处理中的效率问题，以及应对日益增长的计算需求，都具有重要的实践价值。