网易互娱:TiDB在大数据分析与HTAP中的实践
版权申诉
7 浏览量
更新于2024-08-11
收藏 2.17MB PPTX 举报
“网易互娱计费TiDB数据架构演进.pptx”主要讲述了网易互娱在面对业务高速发展带来的数据量和访问量暴涨时,如何通过采用TiDB数据库进行数据架构的演进,以实现高性能的混合事务分析处理(HTAP)能力。
1. 应用架构演进
- **线上最小架构**:最初采用Master-Slave双主半同步VIP架构,客户端通过应用rw故障飘移与服务器交互,确保高可用性和数据一致性。
- **单机瓶颈**:随着业务发展,单机存储和计算能力成为瓶颈,无法满足增长的需求。
- **大数据分析雏形**:为解决这一问题,开始引入大数据分析引擎,但仍然存在单机限制。
- **存储引擎升级**:最终转向HTAP架构,使用TiDB作为在线事务处理(OLTP)服务的基础,同时支持在线分析处理(OLAP),以应对不断暴涨的业务需求。
2. 计算方式
- **TiDBxJDBC**:早期使用TiDB结合JDBC进行计算,提供基础的数据处理能力。
- **TiDBxTiSpark**:引入TiSpark,它可以直接读取TiKV数据,支持索引查找和计算下推,显著提高查询性能。同时,TiSpark的写入效率高,受磁盘性能影响。
- **TiDBxTiFlash**:为了进一步优化HTAP,引入TiFlash,这是一个列式存储引擎,与TiKV(行式存储)并存,实现物理隔离,提供高效统计分析,尤其在用户画像等场景下,性能提升显著。
- **TiDBxJSpark**:开发JSpark工具,允许在TiDB宽表中更新部分列,以及分析Hive日志数据,提供了更多的灵活性和场景适应性。
3. HTAP解决方案
- HTAP是TiDB的核心优势,它能同时处理在线事务和分析任务,无需数据复制或额外的ETL过程,降低了延迟,提高了整体效率。
- TiFlash的引入,确保了在高并发事务处理的同时,能够进行快速的分析查询,实现真正意义上的HTAP。
4. 总结
- 网易互娱通过不断迭代和优化数据架构,利用TiDB的HTAP能力,成功应对了业务快速增长带来的挑战,实现了高效稳定的数据处理和服务。
该文件详述了网易互娱在面临业务快速发展下的数据架构转型,特别是在引入TiDB和其相关的计算组件(如TiSpark、TiFlash)后,如何构建一个既支持高并发事务处理又兼顾高效数据分析的HTAP系统,从而提升了整体的业务处理能力和分析效率。
2021-10-14 上传
2023-07-02 上传
2023-07-20 上传
2023-04-07 上传
2023-06-10 上传
2023-04-28 上传
2023-10-25 上传
2023-05-31 上传
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
Build前沿
- 粉丝: 673
- 资源: 2055
最新资源
- Hadoop生态系统与MapReduce详解
- MDS系列三相整流桥模块技术规格与特性
- MFC编程:指针与句柄获取全面解析
- LM06:多模4G高速数据模块,支持GSM至TD-LTE
- 使用Gradle与Nexus构建私有仓库
- JAVA编程规范指南:命名规则与文件样式
- EMC VNX5500 存储系统日常维护指南
- 大数据驱动的互联网用户体验深度管理策略
- 改进型Booth算法:32位浮点阵列乘法器的高速设计与算法比较
- H3CNE网络认证重点知识整理
- Linux环境下MongoDB的详细安装教程
- 压缩文法的等价变换与多余规则删除
- BRMS入门指南:JBOSS安装与基础操作详解
- Win7环境下Android开发环境配置全攻略
- SHT10 C语言程序与LCD1602显示实例及精度校准
- 反垃圾邮件技术:现状与前景