深入解析Hadoop 2.0 YARN架构设计与实现原理

3星 · 超过75%的资源 需积分: 1 6 下载量 12 浏览量 更新于2024-07-24 收藏 7.19MB PDF 举报
"深入解析YARN的设计与实现" 本书籍为《Hadoop技术内幕》系列的第三本书,专门探讨YARN的设计理念、基本架构和实现原理。本书籍共分四部分十三章,涵盖了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的计算框架(MapReduce、Tez、Storm、Spark)以及多个类YARN的开源资源管理系统(Corona和Mesos)。 第一部分(第1~2章)主要介绍了如何获取、阅读和调试Hadoop的源代码,以及YARN的设计思想、基本架构和工作流程。这部分内容为读者提供了深入了解YARN的基础知识。 第二部分(第3~7章)结合源代码详细剖析和讲解了YARN的第三方开源库、底层通信库、服务库、事件库的基本使用和实现细节。这部分内容为读者提供了YARN组件的实现细节和应用程序设计方法。 第三部分(第8~10章)则对离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark进行了详细的讲解。这部分内容为读者提供了YARN上流行的计算框架的实现细节。 第四部分(第11~13章)首先对Facebook Corona和Apache Mesos进行了深入讲解,然后对YARN的发展趋势进行了展望。这部分内容为读者提供了YARN的发展方向和未来趋势。 此外,本书籍还收录了YARN安装指南、YARN配置参数以及Hadoop Shell命令等非常有用的资料,为读者提供了实践操作的指导。 本书籍为读者提供了深入了解YARN的设计理念、基本架构和实现原理的知识,也为读者提供了YARN的实践操作指南。 知识点: 1.YARN的设计思想和基本架构 2.YARN的基本库和组件用法 3.YARN的应用程序设计方法 4.YARN上流行的计算框架(MapReduce、Tez、Storm、Spark) 5.类YARN的开源资源管理系统(Corona和Mesos) 6.YARN的实现细节和应用程序设计方法 7.MapReduce、Tez、Storm和Spark的实现细节 8.YARN的发展趋势和未来方向 9.YARN安装指南和配置参数 10.Hadoop Shell命令的使用方法 本书籍适合Hadoop和YARN技术的开发者、架构师和技术经理,帮助他们深入了解YARN的设计理念和实现原理,并提供实践操作的指导。