Hadoop YARN资源调度优化研究-李媛祯硕士论文
需积分: 48 48 浏览量
更新于2024-08-09
收藏 1.54MB PDF 举报
"获“科技创新先进个人”荣誉-uml参考手册"
这篇摘要介绍的是关于研究生李媛祯的研究工作,她在2015年获得了“科技创新先进个人”的荣誉,其研究领域聚焦于Hadoop YARN的资源分配与调度。李媛祯的硕士学位论文主题是“Hadoop YARN资源分配与调度的研究”,属于计算机科学与技术专业的并行计算方向,由杨群副教授指导,完成于南京航空航天大学。
Hadoop是一个广泛应用于云计算环境的分布式存储和计算框架,其特点包括高可靠性、高扩展性和高容错性。YARN(Yet Another Resource Negotiator)作为Hadoop的资源管理系统,内置了多种调度器来管理集群资源。然而,随着应用的复杂性和需求的增长,这些内置调度器可能无法满足所有用户的需求。因此,李媛祯的研究着重于如何优化资源分配和调度策略,以提高系统资源的利用率,减少计算时间,进而提升整体系统性能并降低运行成本。
论文深入探讨了Hadoop YARN的资源分配和调度机制,从作业调度和任务调度两个层面进行分析。作业调度关注的是如何将作业有效地分配到集群的不同节点上,而任务调度则关注如何在节点内部合理地分配任务,确保计算效率。同时,李媛祯还研究了Hadoop的推测执行机制,这是一种用于提高系统效率的技术,通过预测和补偿潜在的慢速任务来加速整体计算进程。
通过对这些机制的深入理解和改进,李媛祯的工作为Hadoop YARN提供了可能的优化方案,这不仅对Hadoop生态系统有直接的贡献,也对并行计算领域的理论研究和技术发展有着积极的推动作用。此外,这样的研究对于解决大数据处理中的效率问题,以及应对日益增长的计算需求,都具有重要的实践价值。
2011-05-10 上传
2014-02-22 上传
2023-07-28 上传
2023-05-17 上传
2023-08-09 上传
2023-05-15 上传
2023-06-07 上传
2024-01-16 上传
2023-06-01 上传
![](https://profile-avatar.csdnimg.cn/15b128724c274f028813f077e4079965_weixin_26732855.jpg!1)
龚伟(William)
- 粉丝: 32
- 资源: 3997
最新资源
- 解决本地连接丢失无法上网的问题
- BIOS报警声音解析:故障原因与解决方法
- 广义均值移动跟踪算法在视频目标跟踪中的应用研究
- C++Builder快捷键大全:高效编程的秘密武器
- 网页制作入门:常用代码详解
- TX2440A开发板网络远程监控系统移植教程:易搭建与通用解决方案
- WebLogic10虚拟内存配置详解与优化技巧
- C#网络编程深度解析:Socket基础与应用
- 掌握Struts1:Java MVC轻量级框架详解
- 20个必备CSS代码段提升Web开发效率
- CSS样式大全:字体、文本、列表样式详解
- Proteus元件库大全:从基础到高级组件
- 74HC08芯片:高速CMOS四输入与门详细资料
- C#获取当前路径的多种方法详解
- 修复MySQL乱码问题:设置字符集为GB2312
- C语言的诞生与演进:从汇编到系统编程的革命