"淘菜菜在构建其高可用实时数仓的过程中,采用了Flink和Hologres技术,实现了从传统数仓到实时数仓的升级,优化了生鲜电商的业务流程,提升了数据处理效率和稳定性。"
在淘菜菜这个生鲜电商平台的发展中,实时数仓的建设扮演了关键角色。淘菜菜的业务涵盖了生鲜电商的核心环节,包括供应商管理、中心仓和网格仓的物流作业、团长运营以及消费者的下单支付等。为了满足业务需求,尤其是对于下沉市场的高性价比和物美价廉商品的快速响应,平台需要一个能够处理大量实时数据、提供高效服务的数仓架构。
早期的数仓架构主要基于Hbase和Mysql,通过Jstorm或Galaxy进行数据处理,但随着业务规模的扩大,这种架构的投入成本高且实时处理能力有限。2020年之后,淘菜菜开始逐步采用Flink作为实时计算引擎,结合Hologres构建实时数仓,以缩短实时链路并引入OLAP能力,提供多维分析和灵活查询。这一改变显著提升了数据处理性能,日均输入和输出数据量分别超过2000万/s和50万/s,实时数据规模达到几百TB。
在演进过程中,淘菜菜实时数仓面临的主要挑战包括稳定性、元数据管理和成本治理。通过引入Hologres,数仓的读写性能得到提升,同时增强了容灾能力。元数据管理的优化使得数据管理和使用更加高效,而成本治理则通过优化计算和存储资源的使用,降低了运营成本。此外,Flink任务数从最初的10个增长到300多个,支持了大量实时应用,确保了服务的高可用性和开发运维的高效性。
在实时数仓的高可用性方面,淘菜菜通过FlinkSQL+Hologres的组合,实现了持续化服务和异常快速恢复。例如,FlinkSQL提供了高效的实时计算,而Hologres则提供了高性能的写入能力和强大的OLAP查询功能,两者结合可以支持单点场景和大规模应用,推动了全员实时研发,进一步提高了开发和运维效率。
在业务场景上,实时数仓不仅服务于内部的数据看板和大屏展示,还为大促活动、区域分析等提供了实时数据支持。通过FlinkSQL+Hologres的提效升级,淘菜菜的实时数仓不仅满足了高效率、高可用性的需求,还在降低成本的同时,适应了不断增长的业务规模和复杂多样的数仓建模需求。
总结来说,淘菜菜通过引入Flink和Hologres,成功地实现了实时数仓的高可用升级,优化了生鲜电商的数据处理流程,提升了业务决策的时效性和准确性,为平台的持续发展奠定了坚实的技术基础。