第 4 章 分布式文件系统
第4章 分布式文件系统
4.1 概述
近年来,随着信息技术的迅猛发展,行业应用系统的规模快速扩大,所产生的数
据量也呈爆炸性增长,动辄数百 TB 甚至 PB 的大规模数据,已远远超出传统单节点
系统的处理能力。因此,我们面临的第一个问题就是如何有效地存储规模巨大的数
据。对于大数据而言,依靠集中式的硬件存储是不现实的,不管是容量还是传输速
度都会成为瓶颈,而使用几十台、几百台甚至更多的分布式服务器节点协作,显得
更为有效。因此,为了解决海量数据的存储和访问问题,我们需要引入分布式文件
系统,用来管理大量的分布式服务器节点。
分布式文件系统是指文件系统管理的物理存储资源不一定连接在本地节点上,
而是通过计算网络与节点相连。分布式文件系统的设计基于客户机/服务器模式,它
可以有效的解决数据的存储和管理的难题:将固定于某个地点的文件系统,扩展到
任意多个地点的多个文件系统中,众多的节点组成一个文件系统网络。每个节点可
以分布在不同的地点,各节点间通过网络进行通信和数据传输。使用分布式文件系
统时,用户无需关心数据存储在或来自哪个节点,可以像使用本地文件系统一样管
理和存储文件系统中的数据。
分布式文件系统的可扩展性,使其获得了大数据的存储能力,基于这样的思想,
Hadoop 中设计并实现了分布式文件系统 HDFS(Hadoop Distributed File System),
用于海量数据的存储和管理。本章将逐步介绍 HDFS 的概念、原理、存储格式和
HDFS 安全管控等方面的内容。
4.2 HDFS 简介
4.2.1 HDFS 简介
HDFS(Hadoop Distributed File System ),Hadoop 分布式文件系统,是基于
Google 发表的 GFS 论文的开源实现。Google 的系统中存储了大量通过互联网抓取的
网页信息,这些信息需要存储在文件中加以管理。在搜索业务中,需要管理的数据
的特征及其操作特性,相比于传统的分布式文件系统有较大不同,因此,在 Google
发展早期,两位创始人就编写了自有的文件管理系统 BigFiles,并在此基础上发展出
4