详解详解Hadoop核心架构核心架构HDFS+MapReduce+Hbase+Hive
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据
库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如何运行，以及基于Hadoop
数据仓库的构建和分布式数据库内部具体实现。如有不足，后续及时修改。
HDFS的体系架构
整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支
持。
HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的
Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改hadoop源代码实现的功能，在最新的版本中就已
经实现了）。NameNode作为主服务器，管理文件系统命名空间和客户端对文件的访问操作。DataNode管理存储的数据。
HDFS支持文件形式的数据。
从内部来看，文件被分成若干个数据块，这若干个数据块存放在一组DataNode上。NameNode执行文件系统的命名空间，如
打开、关闭、重命名文件或目录等，也负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的文件读写，
并在NameNode的统一调度下进行数据库的创建、删除和复制工作。NameNode是所有HDFS元数据的管理者，用户数据永远
不会经过NameNode。
如图：HDFS体系结构图
图中涉及三个角色：NameNode、DataNode、Client。NameNode是管理者，DataNode是文件存储者、Client是需要获取分
布式文件系统的应用程序。
文件写入：
1） Client向NameNode发起文件写入的请求。
2） NameNode根据文件大小和文件块配置情况，返回给Client它管理的DataNode的信息。
3） Client将文件划分为多个block，根据DataNode的地址，按顺序将block写入DataNode块中。
文件读取：
1） Client向NameNode发起读取文件的请求。
2） NameNode返回文件存储的DataNode信息。
3） Client读取文件信息。
HDFS作为分布式文件系统在数据管理方面可借鉴点：
评论0