大数据是什么和大数据技术十大核心原理详解
一、数据核心原理
从“流程”核心转变为“数据”核心
大数据时代,计算模式也发生了转变,从“流程”核心转变为“数据”核心。Hadoop 体系的分布式计算
框架已经是“数据”为核心的范式。非结构化数据及分析需求,将改变 IT 系统的升级方式:从简单增
量到架构变化。大数据下的新思维——计算模式的转变。
例如:IBM 将使用以数据为中心的设计,目的是降低在超级计算机之间进行大量数据交换的必要性。
大数据下,云计算找到了破茧重生的机会,在存储和计算上都体现了数据为核心的理念。大数据和
云计算的关系:云计算为大数据提供了有力的工具和途径,大数据为云计算提供了很有价值的用武
之地。而大数据比云计算更为落地,可有效利用已大量建设的云计算资源,最后加以利用。
科学进步越来越多地由数据来推动,海量数据给数据分析既带来了机遇,也构成了新的挑战。大数
据往往是利用众多技术和方法,综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带
来的挑战,我们需要新的统计思路和计算方法。
说明:用数据核心思维方式思考问题,解决问题。以数据为核心,反映了当下 IT 产业的变革,数据
成为人工智能的基础,也成为智能化的基础,数据比流程更重要,数据库、记录数据库,都可开发
出深层次信息。云计算机可以从数据库、记录数据库中搜索出你是谁,你需要什么,从而推荐给你
需要的信息。
二、数据价值原理
由功能是价值转变为数据是价值
大数据真正有意思的是数据变得在线了,这个恰恰是互联网的特点。非互联网时期的产品,功
能一定是它的价值,今天互联网的产品,数据一定是它的价值。
例如:大数据的真正价值在于创造,在于填补无数个还未实现过的空白。有人把数据比喻为蕴藏能
量的煤矿,煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本
又不一样。与此类似,大数据并不在“大”,而在于“有用”,价值含量、挖掘成本比数量更为重要。不
管大数据的核心价值是不是预测,但是基于大数据形成决策的模式已经为不少的企业带来了盈利和
声誉。
数据能告诉我们,每一个客户的消费倾向,他们想要什么,喜欢什么,每个人的需求有哪些区别,
哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加,以至于我们能够实现从量变到
质变的过程。举例来说,这里有一张照片,照片里的人在骑马,这张照片每一分钟,每一秒都要拍
一张,但随着处理速度越来越快,从 1 分钟一张到 1 秒钟 1 张,突然到 1 秒钟 10 张后,就产生了
电影。当数量的增长实现质变时,就从照片变成了一部电影。
说明:用数据价值思维方式思考问题,解决问题。信息总量的变化导致了信息形态的变化,量变引
发了质变,最先经历信息爆炸的学科,如天文学和基因学,创造出了“大数据”这个概念。如今,这个
概念几乎应用到了所有人类致力于发展的领域中。从功能为价值转变为数据为价值,说明数据和大
数据的价值在扩大,数据为“王”的时代出现了。数据被解释是信息,信息常识化是知识,所以说数据
解释、数据分析能产生价值。
三、全样本原理
从抽样转变为需要全部数据样本
需要全部数据样本而不是抽样,你不知道的事情比你知道的事情更重要,但如果现在数据足够多,