探索Hadoop2：存储与计算的革命

"Packt.Learning.Hadoop.2.2015 是一本关于学习Hadoop 2的书籍，旨在帮助读者理解这个大数据处理框架的核心组件、存储与计算原理，以及如何在不同环境下（如AWS的EMR）部署和使用Hadoop。" 本书将深入介绍以下关键知识点： 1. **Hadoop背景**：Hadoop是一个开源的大数据处理框架，由Apache软件基金会维护，最初设计用于处理和存储大规模数据集。它基于Google的分布式文件系统（GFS）和MapReduce计算模型。 2. **Hadoop组件**：Hadoop主要由两个核心部分组成——HDFS（Hadoop Distributed File System）和MapReduce。HDFS提供了高容错性的分布式文件存储，而MapReduce则负责分布式计算任务。 3. **Hadoop的共同构建块**：包括NameNode（主节点）、DataNode（数据节点）、ResourceManager（资源管理器）、NodeManager（节点管理器）等，这些组件共同确保了Hadoop集群的高效运行。 4. **Hadoop 2的重大改进**：Hadoop 2引入了YARN（Yet Another Resource Negotiator），优化了资源管理和调度，使得Hadoop可以支持更广泛的数据处理框架，如Spark和Storm。 5. **存储**：在Hadoop 2中，HDFS的增强使其能够提供更高的可用性和可扩展性，同时支持多用户写入和 Append 操作。 6. **计算**：YARN成为了一个通用的资源管理系统，允许不同的计算框架并行运行，提高了集群利用率。 7. **Hadoop的分布版本**：除了Apache的原始发行版，还有多种商业化发行版，如Cloudera、 Hortonworks 和 MapR，它们提供了额外的企业级功能和支持。 8. **AWS上的Hadoop**：Amazon Web Services 提供了基于云的Hadoop服务——Elastic MapReduce (EMR) 和 Simple Storage Service (S3)，使得用户可以按需快速创建和管理Hadoop集群。 9. **使用AWS EMR**：通过Cloudera QuickStart VM和Amazon EMR，用户可以轻松地设置本地或云端的Hadoop环境。AWS CLI（命令行界面）是管理这些服务的重要工具。 10. **数据处理示例**：书中通过分析Twitter数据来演示Hadoop的实际应用。首先介绍如何获取Twitter API并构建数据集，然后解析Tweets的结构，最后利用MapReduce进行分析。 11. **编程接口**：对于开发人员，了解如何使用Hadoop的编程接口，如Java MapReduce API或更高级的库（如Apache Pig和Hive），是掌握Hadoop的关键。 通过阅读这本书，读者不仅可以了解Hadoop的基本概念和架构，还能掌握如何在实际场景中运用Hadoop进行大数据处理，包括设置和管理Hadoop集群，以及编写和执行MapReduce作业。