探索流批一体近实时数仓：时间旅行与设计挑战

本文探讨了流批一体的近实时数仓的设计与思考，主要围绕以下几个关键点展开： 1. **数据时间旅行与业务需求**： 数据时间旅行的概念引入，指出业务对数据的需求主要关注行为的可探索和可观察。随着大数据技术的发展，离线数仓成为主流，但业务对数据在时间维度上的确定性是否被完全满足是一个值得思考的问题。数据的时间维度包括业务期望的用户空间下的时间数据，如t1时间点或时间段的明细和统计数据。 2. **传输延迟与控制**： 传输延迟主要指数据从产生到存储或处理过程中的不确定性，如网络问题导致的数据延迟或丢失。这种延迟通常是不可控的，对实时性要求较高的场景带来挑战。 3. **存储与计算延迟**： - **离线数仓**：数据存放在分布式文件系统中，以小时为单位进行分区，时间精度相对较低。 - **实时数仓**：如Kafka，数据处理速度较快，通常涉及ProcessTime-IngestTime之间的计算延迟。 - **近实时数仓**（分钟级）：介于实时和离线之间，时效性较高，处理延迟相对较短。 4. **数仓体系的分类**： 根据计算延迟，将数仓分为秒级实时数仓（秒级时效）、分钟级近实时数仓和小时级离线数仓，这些分类反映了时效性的不同，尤其是在处理传输延迟不可控的情况下。 5. **流批一体的实践**： 文章着重讨论了如何在FlinkSQL中实现流批一体，强调SQL表达的一致性、结果一致性，以及如何通过分离流批任务和混合调度依赖来优化设计。 6. **基于数据湖的设计**： 提及数据湖在Flink中的应用，特别是数据湖元数据类型，为流批一体的实践提供了新的视角。数据湖作为中间层，可以支持多种时效性的数据处理需求。 总结来说，本文的核心是深入分析数据处理中的时间特性，结合数据湖和Flink技术，提出了流批一体的近实时数仓的设计策略，旨在优化数据处理的效率和时效性，同时保持SQL表达的统一性和结果的一致性。