没有合适的资源？快使用搜索试试~ 我知道了~

首页BUPT大数据技术导论期末复习提纲

BUPT大数据技术导论期末复习提纲

大数据技术

期末复习

BUPT

需积分: 48 18 下载量 94 浏览量更新于2023-03-03 评论 5 收藏 3.41MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

试读

24页

BUPT数据科学与大数据技术专业大数据技术基础期末考试复习提纲，基本涵盖课堂划重点的内容，便于进行期末复习整理而成。

资源详情

资源评论

资源推荐

大数据期末提纲

选择 15-20 填空 10 简答30-40 论述 20-30

第一章

大数据带来的思维转变

全样本而非抽样效率而非精准相关而非因果（尿布啤酒）

大数据特征

量大（volume）——超过常规计算机存储空间，列式存储

快速化（velocity）——数据产生到小号时间窗口小，决策时间小

多样化（variety）——15结构化 85非结构化数据

价值密度低（value）——价值密度低整体价值高

屏幕剪辑的捕获时间: 2019/12/23 10:20

大数据产生阶段

运营式系统阶段——伴随运营活动产生，呼叫记录被动产生

用户原创内容阶段——微博博客主动产生

感知式系统阶段——VR AR

屏幕剪辑的捕获时间: 2019/12/23 10:21

科学研究四范式

实验理论计算数据探索型

屏幕剪辑的捕获时间: 2019/12/23 10:22

大数据计算模式

批处理流计算图计算查询分析计算

大数据期末复习

2019

年

月

日

10:19

分区大数据的第

页

屏幕剪辑的捕获时间: 2019/12/23 10:22

企业级大数据技术框架

数据源（互联网）——数据收集层（etc 提取转换加载）——数据存储层（分布式文件系统hdfs hbase）——资源管理与服务协调（yarn zookeeper）——计

算引擎——数据分析（传统hive 新的impla）——数据可视化

屏幕剪辑的捕获时间: 2019/12/23 10:24

数据源特点：

分布式异构性多样化流式产生

收集系统特点：

扩展（横向扩展）可靠安全低延迟（与流式产生适应）

屏幕剪辑的捕获时间: 2019/12/23 10:25

数据存储层特点：

扩展性容错性存储模型

屏幕剪辑的捕获时间: 2019/12/23 10:26

引入资源管理服务协调层优点：

资源利用率高运维成本低数据共享

分区大数据的第

页

屏幕剪辑的捕获时间: 2019/12/23 10:26

计算引擎层分类：

批处理（分钟小时天）交互式处理（s sql查询）实时处理（s级以内）

屏幕剪辑的捕获时间: 2019/12/23 10:27

数据分析层

impala

屏幕剪辑的捕获时间: 2019/12/23 10:28

数据可视化层：

屏幕剪辑的捕获时间: 2019/12/23 10:28

google大数据技术栈：

大致了解其中不同层组件对应

屏幕剪辑的捕获时间: 2019/12/23 10:29

Hadoop和Spark大数据技术栈

（补）

分区大数据的第

页

屏幕剪辑的捕获时间: 2019/12/23 10:31

大数据架构——lambda架构

将批处理和流失处理结合起来，达到比价好的效果

屏幕剪辑的捕获时间: 2019/12/23 10:35

大数据的收集：

关系型数据收集：Sqoop

非关系型数据收集：Flume

flume大数据收集系统设计动机：

数据源种类多物理分布再不同机器上流式不间断产生对可靠性有要求

屏幕剪辑的捕获时间: 2019/12/23 10:38

Flume基本构成：

一系列

gent完成

屏幕剪辑的捕获时间: 2019/12/23 10:40

Flume Agent基本构成：

Source：负责接收Event的组件，从client接收数据写入多个channel

channel：缓冲区暂存source写入的event 直到被sink发送出去

sink：从channel中读取发送给下一个agent

flume是以agent的方式将源送到目的 sink client source在消息系统、队列中较为通用的架构

分区大数据的第

页

屏幕剪辑的捕获时间: 2019/12/23 10:42

flume拓扑架构：

多路合并多路复用

多路合并：

屏幕剪辑的捕获时间: 2019/12/23 10:46

多路复用

屏幕剪辑的捕获时间: 2019/12/23 10:48

第二章

kafka重要——消息队列中间件设计动机：

生产者和消费者耦合度过高——增加消费者或者生产者都需要改变、

速率不对等——、大量兵法网络

对消费者不够友好

屏幕剪辑的捕获时间: 2019/12/23 10:49

Flume和kafka区别（补充）：

屏幕剪辑的捕获时间: 2019/12/23 10:52

分区大数据的第

页

剩余23页未读，继续阅读

luoyang1999

粉丝: 6
资源: 8

上传资源快速赚钱

我的内容管理收起

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

会员权益专享

BUPT大数据技术导论期末复习提纲

评论0

会员权益专享

最新资源

BUPT大数据技术导论期末复习提纲

评论0

南京大学《大数据》期末试卷题.pdf

大数据试题

大学计算机基础 中国铁道出版社

数据库期末复习bupt

bupt 人工智能原理 期末

bupt计算机组成原理期末

bupt计算机网络技术实践

计算机网络 期末考试 bupt

数字图像处理期末考试bupt

网络存储技术选修bupt

数据库系统原理bupt

bupt操作系统课设

数据库 期末 bupt

dns服务器 bupt

bupt对下面矩阵表示的nfa

bupt计算机网络实验

bupt 算法设计与基础

bupt csapp lab4

bupt电路分析期中考试

bupt linux上机作业2

会员权益专享

最新资源

大学计算机基础中国铁道出版社

bupt 人工智能原理期末

计算机网络期末考试 bupt

数据库期末 bupt