易果集团:TiDB/TiSpark驱动的实时数仓创新应对业务挑战

1 下载量 151 浏览量 更新于2024-08-28 1 收藏 214KB PDF 举报
在易果集团的实时数仓创新实践中,随着业务的快速发展和多元化需求的出现,传统的Hadoop生态系统(HDFS+Hive+Spark+Presto+Kylin)已无法满足实时或准实时的OLTP和高复杂度OLAP的挑战。初期,易果采用SQLServer作为准实时系统的底层,但随着数据量的剧增,性能瓶颈逐渐显现。因此,团队对Greenplum、Kudu和TiDB进行了选型评估。 Greenplum虽然在分析场景中有优势,但其MPP架构在OLTP性能上明显不如TiDB,不适合高并发的实时业务。Kudu作为HBase和HDFS之间的解决方案,虽然在OLTP性能上与TiDB相当,但在分析性能上存在差距,且与Presto的兼容性问题需要额外考虑。 TiDB以其兼容MySQL协议的优势,能够直接与易果集团现有的Presto-MySQL集成,提供了无缝的查询体验。同时,TiDB的通用性使其不仅适用于实时业务,还能与离线系统的Tispark和SparkSQL无缝衔接,实现小时级任务的快速切换,满足T+1需求时也可接入HDFS。这种灵活性使得TiDB成为易果集团实时数仓创新的重要选择,它既满足了OLAP和OLTP的双重需求,又降低了业务的使用复杂性,并与既有Hadoop生态形成了有效的补充。 总结来说,TiDB在易果集团的实时数仓实践中扮演了关键角色,通过其高性能、兼容性和通用性,成功解决了原有系统在数据量增长后的性能瓶颈,推动了业务的持续发展和效率提升。同时,这一创新实践也为其他企业面临类似挑战时提供了有益的参考和启示。