大数据处理技术分类与应用分析
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
大数据处理技术的汇报与分析 大数据处理技术是指对海量数据进行处理、分析和挖掘的技术,包括数据存储、数据处理、数据分析和数据挖掘等方面。根据不同的应用场景,大数据处理技术可以分为事务型处理和数据统计分析两种类型。 **事务型处理** 事务型处理是指对事务型数据进行处理的技术,例如淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等。这类系统数据处理特点包括: 1. 事务处理型操作差不多上细粒度操作,每次事务处理涉及数据量都专门小。 2. 计算相对简单,一般只有少数几步操作组成,比如修改某行的某列。 3. 事务型处理操作涉及数据的增、删、改、查,对事务完整性和数据一致性要求特不高。 4. 事务性操作差不多上实时交互式操作,至少能在几秒内执行完成。 5. 基于以上特点,索引是支撑事务型处理一个特不重要的技术。 在数据量和并发交易量不大情况下,一般依托单机版关系型数据库,例如ORACLE、MYSQL、SQLSERVER,再加数据复制(DataGurad、RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。在数据量和并发交易量增加情况下,一般能够采纳ORALCERAC集群方式或者是通过硬件升级(采纳小型机、大型机等,如银行系统、运营商计费系统、证卷系统)来支撑。然而,在淘宝、12306等互联网企业中,由于数据量大、访问并发量高,必定采纳分布式技术来应对,如此就带来了分布式事务处理问题,而分布式事务处理专门难做到高效,因此一般采纳依照业务应用特点来开发专用的系统来解决本问题。 **数据统计分析** 数据统计分析是指对大量数据进行统计分析的技术,例如周报表、月报表等固定时刻提供给领导的各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应的营销策略等。数据统计分析特点包括: 1. 数据统计一般涉及大量数据的聚合运算,每次统计涉及数据量会比较大。 2. 数据统计分析计算相对复杂,例如会涉及大量goupby、子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现。 3. 数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多的用户希望能做做到交互式实时统计。 传统的数据统计分析要紧采纳基于MPP并行数据库的数据仓库技术。要紧采纳维度模型,通过可能算等方法,把数据整理成适合统计分析的结构来实现高性能的数据统计分析,以支持能够通过下钻和上卷操作,实现各种维度组合以及各种粒度的统计分析。
剩余62页未读,继续阅读
- 粉丝: 1
- 资源: 3980
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- AirKiss技术详解:无线传递信息与智能家居连接
- Hibernate主键生成策略详解
- 操作系统实验:位示图法管理磁盘空闲空间
- JSON详解:数据交换的主流格式
- Win7安装Ubuntu双系统详细指南
- FPGA内部结构与工作原理探索
- 信用评分模型解析:WOE、IV与ROC
- 使用LVS+Keepalived构建高可用负载均衡集群
- 微信小程序驱动餐饮与服装业创新转型:便捷管理与低成本优势
- 机器学习入门指南:从基础到进阶
- 解决Win7 IIS配置错误500.22与0x80070032
- SQL-DFS:优化HDFS小文件存储的解决方案
- Hadoop、Hbase、Spark环境部署与主机配置详解
- Kisso:加密会话Cookie实现的单点登录SSO
- OpenCV读取与拼接多幅图像教程
- QT实战:轻松生成与解析JSON数据