没有合适的资源?快使用搜索试试~ 我知道了~
首页适合初学者-大数据技术与应用介绍(含各种组件).docx
适合初学者-大数据技术与应用介绍(含各种组件).docx
需积分: 50 12 下载量 79 浏览量
更新于2023-03-03
评论
收藏 533KB DOCX 举报
NoSQL数据库种类介绍、大数据关键技术、大数据计算模式、大数据处理架构 分布式文件系统HDFS、分布式数据库HBASE、NoSQL、大数据处理与分析。 Hadoop分布式文件系统,具有处理超大数据、流式处理、可以运行在廉价商用服务器上等优点。对于超大数据集的应用程序而言,选择HDFS作为底层数据存储是较好的选择。 Hive是基于Hadoop的数据仓库工具,可以用于对Hadoop文件中的数据集进行数据整理、特殊查询和分析存储。(学习门槛较低,提供了类似于关系数据库SQL语言的查询语言=Hive QL),Hive自身可以将Hive QL语句转换为MapReduce任务进行运行,而不必
资源详情
资源评论
资源推荐
第一篇:大数据技术
云计算为大数据提供了技术基础,大数据为云计算机提供了用武之地;物联网是大数
据的重要来源,大数据为物联网数据分析提供支撑;云计算为物联网提供海量数据存储能
力,物联网为云计算技术提供了广阔的应用空间。三者区别:大数据侧重对海量数据的存
储、处理与分析,从海量数据中发现价值,服务于生产和生活;云计算本质上旨在整合和
优化各种 IT 资源,并通过网络以服务的方式廉价地提供给用户;物联网的发展目标是实现
物物相连,应用创新是物联网的发展核心。
一、NoSQL 数据库种类
近些年来,NoSQL 数据库的发展势头很快。据统计,目前已经产生了 50 到 150 个
NoSQL 数据库系统。但是,归结起来,可以将典型的 NoSQL 划分为 4 种类型,分别是键
值数据库、列式数据库、文档数据库和图形数据库,如图 1 所示。
图 14 种类型的 NoSQL 数据库
图 2键值数据库举例
1.1 键值数据库
键值数据库起源于 Amazon 开发的 Dynamo 系统,可以把它理解为一个分布式的
Hashmap,支持 SET/GET 元操作。 它使用一个哈希表,表中的 Key(键)用来定位
Value(值),即存储和检索具体的 Value。数据库不能对 Value 进行索引和查询,只能通
过 Key 进行查询。Value 可以用来存储任意类型的数据,包括整型、字符型、数组、对象
等。
如图 2 所示。键值存储的值也可以是比较复杂的结构,如一个新的键值对封装成的一个对
象。一个完整的分布式键值数据库会将 Key 按策略尽量均匀地散列在不同的结点上,其中,
一致性哈希函数是比较优雅的散列策略,它可以保证当某个结点挂掉时,只有该结点的数
据需要重新散列。
在存在大量写操作的情况下,键值数据库可以比关系数据库有明显的性能优势,这是因
为关系型数据库需要建立索引来加速查询,当存在大量写操作时,索引会发生频繁更新,
从而会产生高昂的索引维护代价。键值数据库具有良好的伸缩性,理论上讲可以实现数据
量的无限扩容。
键值数据库可以进一步划分为内存键值数据库和持久化键值数据库。内存键值数据库把
数据保存在内存中,如 Memcached 和 Redis。持久化键值数据库把数据保存在磁盘中,如
BerkeleyDB、Voldmort 和 Riak。
键值数据库也有自身的局限性,主要是条件查询。如果只对部分值进行查询或更新,效
率会比较低下。在使用键值数据库时,应该尽量避免多表关联查询。此外,键值数据库在
发生故障时不支持回滚操作,所以无法支持事务。
大多数键值数据库通常不会关心存入的 Value 到底是什么,在它看来,那只是一堆字节
而已,所以开发者也无法通过 Value 的某些属性来获取整个 Value。
1.2.列式数据库
列式数据库起源于 Google 的 BigTable,其数据模型可以看作是一个每行列数可变的数
据表, 它可以细分为 4 种实现模式,如图 3 所示。
图 3列式数据库模型
其中,Super Column Family 模式可以理解为 maps of maps,例如,可以把一个作者和
他的专辑结构化地存成 Super Column Family 模式,如图 4 所示。
剩余11页未读,继续阅读
qq_34709267
- 粉丝: 0
- 资源: 3
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- ExcelVBA中的Range和Cells用法说明.pdf
- 基于单片机的电梯控制模型设计.doc
- 主成分分析和因子分析.pptx
- 共享笔记服务系统论文.doc
- 基于数据治理体系的数据中台实践分享.pptx
- 变压器的铭牌和额定值.pptx
- 计算机网络课程设计报告--用winsock设计Ping应用程序.doc
- 高电压技术课件:第03章 液体和固体介质的电气特性.pdf
- Oracle商务智能精华介绍.pptx
- 基于单片机的输液滴速控制系统设计文档.doc
- dw考试题 5套.pdf
- 学生档案管理系统详细设计说明书.doc
- 操作系统PPT课件.pptx
- 智慧路边停车管理系统方案.pptx
- 【企业内控系列】企业内部控制之人力资源管理控制(17页).doc
- 温度传感器分类与特点.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0