Hadoop各个组件大概介绍

目录

1. Hadoop....................................................................................................................................... 1

1.1 HDFS 架构（Hadoop 分布式文件系统）.........................................................................2

1.2 MapReduce（分布式计算框架）....................................................................................3

1.3 Yarn(资源管理系统)......................................................................................................... 4

1.4 Yarn 框架相对于老的 MapReduce 框架优势：..............................................................5

2 Scala(函数式面向对象语言)...................................................................................................... 5

3 Spark........................................................................................................................................... 6

8 Sqoop（数据同步工具）......................................................................................................... 11

9 Pig（基于 Hadoop 的数据流系统）........................................................................................ 12

10 Mahout（数据挖掘算法库）................................................................................................ 13

11 Ambari.................................................................................................................................... 14

12 Cassandra------------非关系数据库........................................................................................... 15

13 Avro（数据序列化的系统）.................................................................................................. 16

14 Chukwa（数据收集系统）..................................................................................................... 16

15 Tez............................................................................................................................................ 18

16 Oozie........................................................................................................................................ 22

17 Flume（日志收集工具）........................................................................................................ 22

  的核心是  和 ， 还包括 。

 下图为  的生态系统：

1.1HDFS 架构（Hadoop 分布式文件系统）

  分 布 式 文 件 系 统  被 设 计 成 适 合 运 行 在 通 用 硬 件

上的分布式文件系统。它和现有的分布式文件系

统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显

的。 是一个高度容错性的系统，适合部署在廉价的机器上。

  能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

  放宽了一部分  约束，来实现流式读取文件系统数据的目的。

 在最开始是作为  搜索引擎项目的基础架构而开发的。

  极大地方便了编程人员在不会分布式并行编程的情况下，将

自己的程序运行在分布式系统上。

 当前的软件实现是指定一个 （映射）函数，用来把一组键值对映射成

一组新的键值对，指定并发的 （规约）函数，用来保证所有映射

的键值对中的每一个共享相同的键组。

 从 )*版本开始，*的 *框架完全重构，发生了根

本的变化。新的 **框架命名为 +*或者

叫 ,，其架构图如下图所示：

  并不是下一代 （-），下一代  与第

一代 （-%）在编程接口、数据处理引擎（&./ 和

/、 等， 通常而言，我们一般将运行在  上的计算框架称

为 “ * , * 2 ， 比 如 “  * , * 23 * (/ * ,

(，“*,*2等，

1.3Yarn(资源管理系统)

资源管理。

管理器，提供新的应用管理器实现。