滴滴业务转型：从KV存储到NewSQL的实战探索

"滴滴从KV存储到NewSQL实战" 在应对业务快速发展的过程中，滴滴面临着存储系统压力的巨大挑战。随着数据量和请求量的急剧增长，传统的分库分表策略虽能暂时缓解问题，但面对频繁的数据库Schema变更，如添加字段和索引，这种方案显得力不从心。DBA需要处理大量变更任务，导致工作繁重，变更周期长，且大规模表的操作可能对线上服务产生影响。此外，分库分表对二级索引的支持不足，进一步限制了其适用性。 在这种背景下，NewSQL数据库成为了解决滴滴业务问题的理想选择。NewSQL数据库旨在提供传统关系型数据库的ACID特性，同时具备水平扩展能力，能够处理大数据量和高并发场景。滴滴在开源产品调研中，重点关注了TiDB，但由于业务需求的特殊性，TiDB并不完全匹配。TiDB的2PC事务机制可能导致较高的延迟，而大部分业务并不需要严格的分布式事务，且其三副本存储策略带来的成本较高，以及与内部离线数据导入系统的不兼容，使得滴滴选择了自研NewSQL解决方案。 滴滴的基础在于其自研的分布式KV存储系统Fusion，它采用Codis架构，支持Redis协议和数据结构，底层使用RocksDB作为存储引擎。Fusion已经在滴滴内部广泛应用，成为关键的在线存储服务。Fusion通过proxy进行数据分片和路由，确保高效的数据访问。用户请求经由Redis客户端发送到proxy，proxy再根据key的hash值进行数据分片，将请求转发到相应的存储节点，实现了数据分布的透明性和负载均衡。 接下来，滴滴计划在Fusion之上构建满足业务场景的NewSQL系统，这将包括增强事务处理能力、优化查询性能、提供更灵活的Schema管理以及提升二级索引支持，以适应不断变化的业务需求，同时保持高性能和低延迟，以应对持续增长的数据量和请求量。通过这种方式，滴滴期望能够构建出一个既满足现有业务需求，又能适应未来变化的数据库解决方案。