"Learning Hadoop 2"
本书《Learning Hadoop 2》由Gabriele Modena和Garry Turkington合著,旨在帮助读者利用Hadoop 2的最新工具和技术进行数据处理、生命周期管理和分析工作流的构建。书中涵盖的内容包括使用超越传统MapReduce方法的高级接口和工具来构建现代化应用程序,以及如何利用Hadoop 2的独特功能分析如Twitter的全球用户生成数据流。
书中的读者定位是具备Unix/Linux命令行界面操作基础和Java编程经验的系统或应用开发者,对Hadoop有一定了解者更佳。作者详细介绍了Hadoop框架的核心组件,如HDFS(分布式文件系统)和YARN(Yet Another Resource Negotiator),并逐步引导读者通过多种方法构建应用程序。
书中提到,YARN彻底改变了MapReduce与Hadoop的关系,使得Hadoop能够支持更多样化的处理方式和更广泛的应用场景,包括使用Apache Samza进行实时处理和使用Apache Spark进行迭代计算。此外,还讨论了Apache Pig及其提供的数据流数据模型,用于分析Twitter数据集。
读者将学习如何利用各种工具提高工作效率,如Apache Hive进行SQL查询,Apache Oozie进行工作流管理,Hadoop Streaming实现自定义数据处理,Apache Crunch提供简洁的编程模型,以及Kite SDK简化开发过程。书籍最后部分展望了Hadoop主要组件的未来发展方向,并介绍了如何参与Hadoop社区。
全书共分为11章,涵盖了从介绍到实际操作的各个层面:
1. 引言
2. 存储
3. 处理 - MapReduce及超越
4. 使用Samza进行实时计算
5. 使用Spark进行迭代计算
6. 使用Apache Pig进行数据分析
7. Hadoop与SQL
8. 数据生命周期管理
9. 提高开发效率
10. 运行Hadoop集群
11. 未来的方向
通过阅读本书,读者不仅可以深入理解Hadoop 2的架构和组件,还能掌握在本地集群和云端(如Amazon Web Services的Elastic MapReduce)部署和运行Hadoop应用的方法。特别地,书中以Twitter数据为例,帮助读者实践如何利用Hadoop处理实时和大规模的数据流。