网易互娱：TiDB在大数据分析与HTAP中的实践

“网易互娱计费TiDB数据架构演进.pptx”主要讲述了网易互娱在面对业务高速发展带来的数据量和访问量暴涨时，如何通过采用TiDB数据库进行数据架构的演进，以实现高性能的混合事务分析处理（HTAP）能力。 1. 应用架构演进 - **线上最小架构**：最初采用Master-Slave双主半同步VIP架构，客户端通过应用rw故障飘移与服务器交互，确保高可用性和数据一致性。 - **单机瓶颈**：随着业务发展，单机存储和计算能力成为瓶颈，无法满足增长的需求。 - **大数据分析雏形**：为解决这一问题，开始引入大数据分析引擎，但仍然存在单机限制。 - **存储引擎升级**：最终转向HTAP架构，使用TiDB作为在线事务处理（OLTP）服务的基础，同时支持在线分析处理（OLAP），以应对不断暴涨的业务需求。 2. 计算方式 - **TiDBxJDBC**：早期使用TiDB结合JDBC进行计算，提供基础的数据处理能力。 - **TiDBxTiSpark**：引入TiSpark，它可以直接读取TiKV数据，支持索引查找和计算下推，显著提高查询性能。同时，TiSpark的写入效率高，受磁盘性能影响。 - **TiDBxTiFlash**：为了进一步优化HTAP，引入TiFlash，这是一个列式存储引擎，与TiKV（行式存储）并存，实现物理隔离，提供高效统计分析，尤其在用户画像等场景下，性能提升显著。 - **TiDBxJSpark**：开发JSpark工具，允许在TiDB宽表中更新部分列，以及分析Hive日志数据，提供了更多的灵活性和场景适应性。 3. HTAP解决方案 - HTAP是TiDB的核心优势，它能同时处理在线事务和分析任务，无需数据复制或额外的ETL过程，降低了延迟，提高了整体效率。 - TiFlash的引入，确保了在高并发事务处理的同时，能够进行快速的分析查询，实现真正意义上的HTAP。 4. 总结 - 网易互娱通过不断迭代和优化数据架构，利用TiDB的HTAP能力，成功应对了业务快速增长带来的挑战，实现了高效稳定的数据处理和服务。 该文件详述了网易互娱在面临业务快速发展下的数据架构转型，特别是在引入TiDB和其相关的计算组件（如TiSpark、TiFlash）后，如何构建一个既支持高并发事务处理又兼顾高效数据分析的HTAP系统，从而提升了整体的业务处理能力和分析效率。