没有合适的资源?快使用搜索试试~ 我知道了~
首页事务型处理与数据统计:大数据技术的核心应用
事务型处理与数据统计:大数据技术的核心应用
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 148 浏览量
更新于2024-07-01
收藏 1.18MB DOCX 举报
本文档深入探讨了大数据处理技术中的两个关键领域:事务型处理和数据统计分析,旨在帮助读者理解这些在实际IT环境中扮演的重要角色。 首先,事务型处理是针对日常生活中的高频、细粒度操作,如电商网站的交易系统(如淘宝)和交通购票系统(如12306)。这种类型的系统强调数据的一致性和完整性,操作实时交互,且数据量虽小但并发处理需求高。为了满足这些需求,单机版关系型数据库(如Oracle、MySQL、SQL Server)配合数据复制技术是基础解决方案。然而,随着数据量和并发增长,可能需要转向分布式环境或采用高端硬件设施。在互联网企业如淘宝,分布式事务处理虽然面临挑战,但通常会设计专用系统来优化性能。 另一方面,数据统计分析则是企业通过分析销售记录等运营数据,进行决策支持的过程。例如,制作周报、月报等定期报告,以及市场营销部门基于多种维度的数据挖掘来制定策略。统计分析的特点在于处理大量数据的聚合操作,涉及到复杂的SQL查询,如GROUP BY、子查询、窗口函数等。实时性虽然不如事务型处理严格,但仍追求交互式的实时统计。传统的数据统计分析往往依赖于MPP(大规模并行处理)数据库架构,如数据仓库,采用维度模型预先计算数据,以便快速进行多维度和不同粒度的统计分析,并支持下钻和上卷等高级查询功能。 文档详细介绍了如何根据不同数据处理需求选择合适的工具和技术,以及如何在大数据背景下优化事务型处理和数据统计分析的性能。这对于IT专业人士来说,是理解和优化大数据应用场景的关键知识。同时,也强调了随着业务发展,如何灵活应对数据量的增长和实时性要求的变化。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/86094729/bg9.jpg)
SQL 解析层工作主要包括两个大方面:
(1) 通过语法分析技术来理解要做什么。在关系数据库中,一般会把 SQL
语言分析后,形成树型构造的执行方案。
(2) 在语法分析技术上,利用各种优化技术和算法,找出一种最经济物理
执行方案。
优化可以分为两个方面:一是逻辑层面优化、二是物理执行层面优化。
(1) 逻辑层优化
逻辑层面个人认为主要是因为同样表达一个分析请求,有的人 SQL 写的好,
有的人 SQL 写的烂,因此在逻辑层面可以通过一些等价关系代数变换,实
现查询重写,将写的比拟烂的 sql 变换为好的写法。
![](https://csdnimg.cn/release/download_crawler_static/86094729/bga.jpg)
比拟典型优化是:“把投影和过滤下沉,先执行过滤和投影操作〞,减少
中间结果。
(2) 物理层优化
物理层面优化是在逻辑优化后,结合实际物理执行过程,找出最优的物理
执行方案。生成物理查询方案的工作包括:
ü 增加一些操作符: 包括扫描和排序等。
ü 确定各个操作符实现算法。例如扫描是全表扫描还是利用索引;Join
是采用 HASH 连接、索引连接、合并排序等实现算法中的那一种。
ü 确定操作符之间的数据流转方法:物化还是流水线方式。
![](https://csdnimg.cn/release/download_crawler_static/86094729/bgb.jpg)
ü 采用基于代价估算方法确定最优的物理执行方案,目前代价估算主要
是以估算该物理方案需要的 IO 量。另外对于并行数据库,那么还要考虑
通讯代价,即尽量减少数据在各个机器之间的传递。
在物理层优化的代价估算过程中,代价估算需要依靠很多统计
信息,如表有多大,表中相关列的值分布是什么样子等。传统数据库在数
据 Load 过程中会事先计算好这些统计信息。并行计算中还需要考虑通讯
代价。
需要指出是,由于 imapla、Presto、HIVE 等系统只是一个查
询引擎,它们可以直接查询以普通文件方式存储在 HDFS 系统上的文件,
因此这些系统一般无法使用索引和各种统计信息来进展物理执行方案的
优化,这些系统一般只能在逻辑层进展一些基于规那么静态优化。根据
SHARK 论文,SHARK 系统支持根据前面一些节点计算获得的信息,来动态
优化后面执行方案。
(3) 物化及流水线执行方法
一条 SQL 语句对开发人员而言,感觉只是一次调用,但是实际上
在数据库内部,一条 SQL 语句执行其实是有多个操作符组合而成的的树型
构造计算流。如下列图:
剩余51页未读,继续阅读
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
kfcel5889
- 粉丝: 3
- 资源: 5万+
![](https://csdnimg.cn/release/wenkucmsfe/public/img/vip-rights-1.c8e153b4.png)
下载权益
![](https://csdnimg.cn/release/wenkucmsfe/public/img/vip-rights-2.8b825a4e.png)
电子书特权
![](https://csdnimg.cn/release/wenkucmsfe/public/img/vip-rights-3.fc5e5fb6.png)
VIP文章
![](https://csdnimg.cn/release/wenkucmsfe/public/img/vip-rights-4.320a6894.png)
课程特权
![](https://csdnimg.cn/release/wenkucmsfe/public/img/vip-rights-icon.fe0226a8.png)
开通VIP
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 计算机人脸表情动画技术发展综述
- 关系数据库的关键字搜索技术综述:模型、架构与未来趋势
- 迭代自适应逆滤波在语音情感识别中的应用
- 概念知识树在旅游领域智能分析中的应用
- 构建is-a层次与OWL本体集成:理论与算法
- 基于语义元的相似度计算方法研究:改进与有效性验证
- 网格梯度多密度聚类算法:去噪与高效聚类
- 网格服务工作流动态调度算法PGSWA研究
- 突发事件连锁反应网络模型与应急预警分析
- BA网络上的病毒营销与网站推广仿真研究
- 离散HSMM故障预测模型:有效提升系统状态预测
- 煤矿安全评价:信息融合与可拓理论的应用
- 多维度Petri网工作流模型MD_WFN:统一建模与应用研究
- 面向过程追踪的知识安全描述方法
- 基于收益的软件过程资源调度优化策略
- 多核环境下基于数据流Java的Web服务器优化实现提升性能
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)