"大数据认识与思考:时代背景、关键技术、产业应用与挑战"

需积分: 9 0 下载量 201 浏览量 更新于2023-12-19 收藏 389KB DOC 举报
大数据是指规模巨大、复杂多样、处理速度快的数据集合,以及利用这些数据进行分析、挖掘和应用的技术和方法。随着信息技术的飞速发展,大数据已成为当代社会发展的关键驱动力之一。本文将从大数据的时代背景、概念、特征、发展阶段、关键技术、产业应用、问题与挑战以及发展建议等方面进行探讨和分析。 首先,大数据的时代背景包括信息技术的迅速发展、互联网的普及、移动互联网的崛起、物联网的兴起等。这些因素共同促成了大数据时代的到来。其次,我们将对大数据的概念进行界定和阐述,明确大数据的含义和范围。同时,我们还会剖析大数据产生的背景和特征,以便更好地认识和理解大数据。 在探讨大数据的发展阶段时,我们将详细分析大数据的发展历程,并对其未来发展趋势进行展望。关键技术方面,我们将着重介绍大数据的采集和预处理技术、存储技术、分析技术以及大数据与云计算的关系,以便读者深入了解大数据的技术支撑和核心要点。 在大数据产业的应用方面,我们将详细介绍大数据产业的发展现状和前景,并针对典型领域中的应用进行深入剖析。特别是在智慧城市领域,我们将分析智慧城市的产生、全球智慧城市的实践以及中国智慧城市的发展现状,以期揭示大数据在智慧城市建设中的重要作用和积极意义。 但是,我们也不得不面对大数据产业发展中存在的问题和挑战。例如数据质量、数据安全、用户隐私与便利性的冲突、庞大能耗、数据分析与管理人才紧缺、跟风现象较为严重以及缺少技术创新水平较高的互联网公司等。这些问题不容忽视,需要我们认真思考并提出解决方案。 最后,我们将从不同维度提出对大数据产业发展的建议,包括政策支持、技术研发、人才培养、安全保障、隐私保护等方面的建议,以期推动大数据产业的健康发展和持续进步。 通过对这些方面的认识和思考,相信读者能够更全面地了解大数据,洞察其所带来的机遇和挑战,从而更好地把握大数据时代的发展机遇,为自身的发展和决策提供更有力的支持。希望本文能够对读者有所启发和帮助。
2022-12-24 上传
"大数据"的认识与思考 刘姝祎 目录 1"大数据"的时代背景 4 1.1"大数据"的概念 4 1.2"大数据"产生的背景 4 1.3"大数据"的特征 5 1.4"大数据"的发展阶段 5 1.5"大数据"带来的机遇 6 2"大数据"的关键技术 9 2.1"大数据"的采集和预处理 9 2.2"大数据"存储技术 10 2.3"大数据"分析技术 10 2.4"大数据"与云计算 11 3大数据产业的应用 12 3.1大数据产业 12 3.2"大数据"在典型领域中的应用 13 3.3智慧城市:立体的大数据生态系统 14 3.3.1智慧城市的产生 14 3.3.2全球智慧城市的实践 15 3.3.3.中国智慧城市 16 4问题与挑战 18 4.1数据质量 18 4.2数据安全 18 4.3用户隐私与便利性的冲突 18 4.4庞大能耗 18 4.5数据分析与管理人才紧缺 19 4.6跟风现象较为严重 19 4.7缺少技术创新水平较高的互联网公司 19 5对大数据产业发展的建议 20 5.1政府方面 20 5.2企业方面 21 5.3公众方面 22 1"大数据"的时代背景 1.1"大数据"的概念 纽约时报在2012年宣布"大数据时代"已经降临,"大数据"成为了时下最火热的词汇。 顾名思义,大数据是"无法任意时间内用常规软件工具对其内容进行抓取、管理和处理的 大量而复杂的数据集合"。Gartner认为大数据是"需要新处理模式才能具有更强的决策力 、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产"。"大数据"的要义 是尽可能地收集众多可以相互叠加补充的信息,据以完成对"未来"的预测。这些数据可 能有些混乱,甚至会出现纰漏,但数据量的"多"和时间的"即刻"可以弥补数据质量的瑕 疵,"大数据"将以最快的速度"预测"出最"可靠"的答案,指引人们迅速采取行动。 1.2"大数据"产生的背景 大数据的应用和技术是在互联网快速发展中诞生的,起点可追溯到 2000 年前后。当时互联网网页爆发式增长,每天新增约 700 万个网页,到 2000 年底全球网页数达到 40 亿,用户检索信息越来越不方便。谷歌等公司率先建立了覆盖数十亿网页的索引库,开 始提供较为精确的搜索服务,大大提升了人们使用互联网的效率,这是大数据应用的起 点。当时搜索引擎要存储和处理的数据,不仅数量之大前所未有,而且以非结构化数据 为主,传统技术无法应对。为此,谷歌提出了一套以分布式为特征的全新技术体系,即 后来陆续公开的分布式文件系统(GFS, Google File System)、分布式并行计算(MapReduce)和分布式数据库(BigTable)等技术,以较低的成 本实现了之前技术无法达到的规模。这些技术奠定了当前大数据技术的基础,可以认为 是大数据技术的源头。 伴随着互联网产业的崛起,这种创新的海量数据处理技术在电子商务、定向广告、智 能推荐、社交网络等方面得到应用,取得巨大的商业成功。这启发全社会开始重新审视 数据的巨大价值,于是金融、电信等拥有大量数据的行业开始尝试这种新的理念和技术 ,取得初步成效。与此同时,业界也在不断对谷歌提出的技术体系进行扩展,使之能在 更多的场景下使用。2011 年,麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结,随即在 全世界兴起了一股大数据热潮。 2012年3月,美国政府发布《大数据研究和发展计划》,同时组建大数据高级指导小组 ,以协调政府在数据领域的两亿多美元投资。根据这一计划,美国希望利用大数据技术 再多个领域实现突破,包括科研教学、环境保护、国土安全等,此举标志着,美国把应 对大数据技术革命带来的机遇和挑战,提高到国家战略层面,形成了全体动员格局。随 后,英国、法国、日本等各国都相继将大数据计划作为国家战略型计划提上日程。值得 一提的是,由中国各级政府主导的大数据计划也已经全面展开,"大数据"已成为推动我 国经济和科技发展的重要力量。 1.3"大数据"的特征 "大数据"具有4V的特点:一是数据容量巨大(Volume)。国际数据公司(IDC)的研 究报告称,2011年全球被创建和被复制的数据总量为1.8ZB(2的70次方),并预测到20 20年,全球将拥有35ZB的数据量。二是数据类型众多 (Variety)。相对于过往以文本形式为主的结构化数据,大数据时代的数据类型涵盖了 图片、音频、视频、网络日志和地理位置信息等种类繁多的半结构化和非结构化数据。 三是数据价值密度低(Value)。举例而言,在一个连续监控三个小时的视频中,能够 提供有效信息帮助刑侦人员破案的画面可能只有三五秒。四是处理数据的速度要求非常 快(Velocity)。一方面,面对如此巨大的数据量,处理效率至关重要,另一方面,越 来越多的处理需要在瞬间完成