没有合适的资源?快使用搜索试试~ 我知道了~
首页深入浅出解析大数据平台架构.docx
资源详情
资源评论
资源推荐
目录:
什么是大数据
Hadoop 介绍-HDFS、MR、Hbase
大数据平台应用举例-腾讯
公司的大数据平台架构
“就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据
正在改变我们的生活以及理解世界的方式……”。
大数据的 4V 特征-来源
公司的“大数据”
随着公司业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。
比如:
1、业务系统现在平均每天存储 20 万张图片,磁盘空间每天消耗 100G;
2、平均每天产生签约视频文件 6000 个,每个平均 250M,磁盘空间每天消耗
1T
三国里的“大数据”
“草船借箭”和大数据有什么关系呢?对天象的观察是基于一种对风、云、温度、
湿度、光照和所处节气的综合分析这些数据来源于多元化的“非结构”类型,并
且数据量较大,只不过这些数据输入到的不是电脑,而是人脑并最终通过计算
分析得出结论。
Google 分布式计算的三驾马车
Google File System 用来解决数据存储的问题,采用 N 多台廉价的电脑,使
用冗余(也就是一份文件保存多份在不同的电脑之上)的方式,来取得读写速
度与数据安全并存的结果。
Map-Reduce 说穿了就是函数式编程,把所有的操作都分成两类,map 与
reduce,map 用来将数据分成多份,分开处理,reduce 将处理后的结果进行
归并,得到最终的结果。
BigTable 是在分布式系统上存储结构化数据的一个解决方案,解决了巨大的
Table 的管理、负载均衡的问题。
Hadoop 体系架构
Hadoop 核心设计
HDFS 介绍-文件读流程
Client 向 NameNode 发起文件读取的请求。
NameNode 返回文件存储的 DataNode 的信息。
Client 读取文件信息。
HDFS 介绍-文件写流程
剩余18页未读,继续阅读
SoldierSir
- 粉丝: 0
- 资源: 15
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 2022年中国足球球迷营销价值报告.pdf
- 房地产培训 -营销总每天在干嘛.pptx
- 黄色简约实用介绍_汇报PPT模板.pptx
- 嵌入式系统原理及应用:第三章 ARM编程简介_3.pdf
- 多媒体应用系统.pptx
- 黄灰配色简约设计精美大气商务汇报PPT模板.pptx
- 用matlab绘制差分方程Z变换-反变换-zplane-residuez-tf2zp-zp2tf-tf2sos-sos2tf-幅相频谱等等.docx
- 网络营销策略-网络营销团队的建立.docx
- 电子商务示范企业申请报告.doc
- 淡雅灰低面风背景完整框架创业商业计划书PPT模板.pptx
- 计算模型与算法技术:10-Iterative Improvement.ppt
- 计算模型与算法技术:9-Greedy Technique.ppt
- 计算模型与算法技术:6-Transform-and-Conquer.ppt
- 云服务安全风险分析研究.pdf
- 软件工程笔记(完整版).doc
- 电子商务网项目实例规划书.doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0