第一篇 通用知识篇
第一章 大数据
第一节 大数据的定义
大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚
至主流软件工具，在合理时间内处理的海量、高增长率和多样化的信息资产。因此大
数据的核心是价值，数据量大只是大数据的表象，这也是为什么大数据引起业界广泛
关注的重要原因。由此可见，对于大数据的研究和应用主要集中于两点:一、从技术
层面研究大数据的模型及处理算法、开发相应的处理工具等；二、从商业模式层面寻
找大数据的商业模型、盈利模式、产业发展等。
大数据的战略意义不在于掌握庞大的数据信息，而在于对这些含有价值的数据进
行专业化处理。换言之，如果把大数据比作一种产业，初级或者粗糙的大数据产业主
要是提高对数据的“加工能力”，通过“加工”实现数据的“增值”；而更高层次的
大数据产业将数据信息产生的价值应用到具体的行业，发挥行业价值，从而实现数据
信息价值的倍增，这样才能真正体现大数据的价值所在。
第二节 大数据与海量数据的关系
海量数据仅仅是从数据量上进行界定，海量数据指数据量巨大，用 普 通的方法和
工具处理起来相对困难，其计算时间和运算量较大，需要开发新的存储、处理和挖掘
等技术才可以进行快速处理。大数据的数据量明显远大于海量数据，当然二者没有严
格的区分门限，通常意义上讲，大数据的数据量要大于海量数据。海量数据的很多分
析处理技术可以用于大数据的分析与处理，同样大数据的相关理论和方法同样可以用
于海量数据。大数据不仅仅从量上进行了分析，而且从本质上进行了定义，突出了其
核心价值。因此可以说大数据是海量数据的升级，大数据更突出了数据的本质。
既然谈到数据量的问题，这里有必要介绍关于数据量的一些常见数量单位。
数据的最小的基本单位是 bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、
TB、PB、EB、ZB、YB、BB、NB、DB。
它们按照进率 1024（2
10
）来计算：
1 Byte= 8bit
1 KB = 1,024 Bytes
1 MB = 1,024 KB = 1,048,576 Bytes
1 GB = 1,024 MB = 1,048,576 KB
1 TB = 1,024 GB = 1,048,576 MB
1 PB = 1,024 TB = 1,048,576 GB
1 EB = 1,024 PB = 1,048,576 TB
1 ZB = 1,024 EB = 1,048,576 PB
1 YB = 1,024 ZB = 1,048,576 EB
1 BB = 1,024 YB = 1,048,576 ZB
1 NB = 1,024 BB = 1,048,576 YB
1 DB = 1,024 NB = 1,048,576 BB
当前用的最多的关于大数据描述的数量级是 TB 和 PB，一般行业或者政府机构的
数据基本在 PB 级上。因此，如此大量的数据用传统的数据库存储、查询和处理方式
无法实现数据的实时处理，导致时效性大打折扣，甚至不可用，例如在追击逃犯的时
剩余61页未读，继续阅读
评论0