大数据时代是什么意思.pdf
⼤数据时代是什么意思 ⼤数据时代是什么意思 世界包含的多得难以想象的数字化信息变得更多更快……从商业到科学,从政府到艺术,这种 影响⽆处不在。科学家和计算机⼯程师们给这种现象创造了⼀个新 名词:"⼤数据"。⼤数据时代什么意思?⼤数据概念什么意思?⼤数据分析什么意思?所谓⼤数 据,那到底什么是⼤数据,他的来源在哪⾥,定义 究竟是什么呢?⼀:⼤数据的定义。1、⼤数据,⼜称巨量资料,指的是所涉及的数据资料量规 模巨⼤到⽆法通过⼈脑甚⾄主流软件⼯具,在合理 时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极⽬的的资讯。2、⼤数据技 术,是指从各种各样类型的⼤数据中,快速获得有价 值信息的技术的能⼒,包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。适⽤ 于⼤数据的技术,包括⼤规模并⾏处理(MPP)数据 库,数据挖掘电⽹,分布式⽂件系统,分布式数据库,云计算平台,互联⽹,和可扩展的存储 系统。3、⼤数据应⽤,是指对特定的⼤数据集合, 集成应⽤⼤数据技术,获得有价值信息的⾏为。对于不同领域、不同企业的不同业务,甚⾄同 ⼀领域不同企业的相同业务来说,由于其业务需求、数 据集合和分析挖掘⽬标存在差异,所运⽤的⼤数据技术和⼤数据信息系统也可能有着相当⼤的 不同。惟有坚持"对象、技术、应⽤"三位⼀体同步发 展,才能充分实现⼤数据的价值。当你的技术达到极限时,也就是数据的极限"。⼤数据不是关 于如何定义,最重要的是如何使⽤。最⼤的挑战在于 哪些技术能更好的使⽤数据以及⼤数据的应⽤情况如何。这与传统的数据库相⽐,开源的⼤数 据分析⼯具的如Hadoop的崛起,这些⾮结构化的 数据服务的价值在哪⾥。??⼆:⼤数据的类型和价值挖掘⽅法1、⼤数据的类型⼤致可分为三 类:1)传统企业数据(Traditionale nterprisedata):包括CRMsystems的消费者数据,传统的ERP数据,库存数据以及账⽬数据 等。2)机器和传感器 数据(Machine-generated/sensordata):包括呼叫记(CallDetailRecords),智能仪表,⼯ 业设备传感器,设备⽇志(通常是Digitalexhaust),交易数据等。3)社交数据(Socialdata):包括 ⽤户⾏为记录 ,反馈数据等。如Twitter,Facebook这样的社交媒体平台。2、⼤数据挖掘商业价值的⽅法主 要分为四种:1)客户群体细分,然 后为每个群体量定制特别的服务。2)模拟现实环境,发掘新的需求同时提⾼投资的回报率。3)加 强部门联系,提⾼整条管理链条和产业链条的效 率。4)降低服务成本,发现隐藏线索进⾏产品和服务的创新。??三:⼤数据的特点业界通常⽤4 个V(即Volume、Variety、Va lue、Velocity)来概括⼤数据的特征。具体来说,⼤数据具有4个基本特征:1、是数据体量巨⼤ 数据体量(volumes)⼤,指 代⼤型数据集,⼀般在10TB规模左右,但在实际应⽤中,很多企业⽤户把多个数据集放在⼀ 起,已经形成了PB级的数据量;百度资料表明,其 新⾸页导航每天需要提供的数据超过1.5PB(1PB=1024TB),这些数据如果打印出来将超过5千 亿张A4纸。有资料证实,到⽬前为 ⽌,⼈类⽣产的所有印刷材料的数据量仅为200PB。2、是数据类别⼤和类型多样数据类别 (variety)⼤,数据来⾃多种数据源,数据 种类和格式⽇渐丰富,已冲破了以前所限定的结构化数据范畴,囊括了半结构化和⾮结构化数 据。现在的数据类型不仅是⽂本形式,更多的是图⽚ 、视频、⾳频、地理位置信息等多类型的数据,个性化数据占绝对多数。3、是处理速度快在数 据量⾮常庞⼤的情况下,也能够做到数据的实时处理 。数据处理遵循"1秒定律",可从各种类型的数据中快速获得⾼价值的信息。4、是价值真实性⾼ 和密度低数据真实性(Veracity)⾼, 随着社交数据、企业内容、交易与应⽤数据等新数据源的兴趣,传统数据源的局限被打破,企 业愈发需要有效的信息之⼒以确保其真实性及安全性。 以视频为例,⼀⼩时的视频,在不间断的监控过程中,可能有⽤的数据仅仅只有⼀两秒。?四: ⼤数据的作⽤1、对⼤数据的处理分析正成为新⼀代 信息技术融合应⽤的结点移动互联⽹、物联⽹、社交⽹络、数字家庭、电⼦商务等是新⼀代信 息技术的应⽤形态,这些应⽤不断产⽣⼤数据。云计算 为这些海量、多样化的⼤数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析 与优化,将结果反馈到上述应⽤中,将创造出巨⼤的经 济和社会价值。⼤数据具有催⽣社会变⾰的能量。但释放这种能量,需要严谨的数据治理、富 有洞见的数据分析和激发管理创新的环境(Ramay yaKrishnan,卡内基·梅隆⼤学海因兹学院院长)。2、⼤数据是信息产业