腾讯广告系统:OLTP与OLAP实践与优化
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
"6-5+腾讯广告OLTP_OLAP实践.pdf" 腾讯广告系统的实践案例主要涉及了在线事务处理(OLTP)和在线分析处理(OLAP)的技术应用。在这个系统中,数据从原始曝光、点击到转化经过一系列处理,包括日志关联和Join操作,以生成对外报表和运营分析所需的综合数据。该系统采用了Spark Streaming进行实时数据处理,Hbase作为数据存储引擎,Phoenix作为查询引擎,以及Hermes和Dremel等工具进行数据管理和分析。 在数据处理流程中,系统首先记录原始的日志数据,如曝光、点击和转化。通过Join操作将这些日志关联起来,生成更丰富的数据视图。然后,使用Spark Streaming对数据进行实时处理,这有助于快速响应和处理大量实时数据,满足低延迟的需求。数据经过处理后,会存储在Hbase中,这是一个分布式列式存储系统,适用于大数据量的实时查询。 为了提高查询效率,腾讯广告系统采用了Phoenix,它是一个SQL查询引擎,可以将SQL语句转换为HBase的API,从而实现对Hbase数据的高效访问。同时,Phoenix还进行了针对广告业务场景的定制化优化,实现了毫秒级的查询延迟。此外,Hbase的双集群容灾设计确保了数据的安全性和可用性。 然而,Hbase的索引能力和应对数据热点的能力相对较弱,这可能会影响到系统的性能。为了解决这些问题,腾讯采用了多版本并发控制(MVCC)策略。MVCC允许报表系统在多个维度上保持数据一致性,即使在不同维度的数据更新时间不一致的情况下。通过管理每个表的版本信息,查询时可以读取到一致性的数据版本,从而解决用户在切换维度时可能遇到的数据不一致问题。 在对外报表场景优化方面,系统分别在1分钟、10分钟、1小时和1天的粒度上生成聚合结果,以满足不同时间范围内的查询需求。增量统计和幂等性设计保证了数据的准确性和更新的效率。例如,通过累加方式更新数据可能会破坏幂等性,而采用覆盖方式则可以保证幂等性,但可能需要处理重做导致的数据重复。 腾讯广告系统的OLTP和OLAP实践是通过结合实时处理技术(如Spark Streaming)、高效存储(Hbase)和快速查询(Phoenix)等工具来实现的。通过不断优化,如MVCC的应用,系统能够在处理海量广告数据的同时,保证数据的准确性和一致性,满足运营分析、诊断分析、A/B实验等多种业务需求。
![](https://csdnimg.cn/release/download_crawler_static/84997341/bg4.jpg)
剩余19页未读,继续阅读
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![gz](https://img-home.csdnimg.cn/images/20210720083447.png)
![doc](https://img-home.csdnimg.cn/images/20210720083327.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/1bb767fabf5a4071ba4a6158fff1f94b_wenyusuran.jpg!1)
- 粉丝: 12w+
- 资源: 9195
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- Vue实现iOS原生Picker组件:详细解析与实现思路
- Arduino蓝牙小车:参数调试与功能控制
- 百度Java面试精华:200页精选资源涵盖核心知识点
- Swift使用CoreData填坑指南:CoreData在Swift 3.0的变化
- 微距离无线充电器创新设计及其实验探索
- MTK Android平台开发全攻略:44步详解流程
- RecyclerView全面解析:替代ListView的新选择
- Android开发:自动适配中英文键盘解决方案
- Android调用WebService接口教程
- Android开发:BitmapUtil图片处理全解析与实例
- Android多线程断点续传实现详解
- PCA算法在人脸识别会议签到系统中的应用
- EventBus 3.0:Android事件总线详解与实战应用
- Android FileUtil:全面解析文件操作实用技巧与实例
- RecyclerView添加头部和尾部实战教程
- Android实现微博滑动固定顶部栏实战与优化
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)