知乎实时数仓升级：Flink替换Spark，数据分层与自动化的演进

"知乎在数据智能的发展历程中，对实时数仓进行了逐步的演进和优化。早期的实时数仓1.0阶段主要依赖SparkStreaming技术，其核心任务是实时ETL（提取、转换、加载），即对流量数据进行实时清洗和加工，目的是提升数据平台的服务能力。这一版本的架构相对简单，主要处理单一的实时场景，数据流通过三端SDK收集到LogCollectorServer，再流入Kafka，然后通过Druid进行存储和指标计算。然而，由于实时流的稳定性问题，采用的是Lambda架构，将ETL工作分为Streaming ETL（基于SparkStreaming）和Batch ETL（批处理），以保证高容错性和低延时。 SparkStreaming作为当时的主流实时计算框架之一，具有易用性和与Hadoop生态系统集成的优势，但在面对大规模数据和复杂逻辑处理时，SparkStreaming的延迟和稳定性成为瓶颈。因此，在实时数仓2.0阶段，知乎选择FlinkStreaming作为新的技术方案。Flink以其低延迟、高吞吐量和状态管理能力，更适用于处理复杂的实时数据流，支持真正的无界数据流处理，以及更高效的数据一致性模型。 实时数仓2.0版的焦点在于数据分层和指标计算的实时化，这意味着系统能更准确地实时反映业务状况，支持更精细的数据分析。Flink的事件时间处理和窗口功能使得数据处理更加灵活，可以处理更复杂的实时分析场景。此外，知乎还在探索未来的演进方向，比如将Streaming SQL平台化，实现元信息管理的系统化，以及自动化的结果验收，以提高效率和降低运维成本。 总结来说，知乎的实时数仓从Spark Streaming的单点突破，到Flink Streaming带来的全面升级，体现了公司在追求数据智能的过程中不断优化技术栈，以适应业务发展的需求，确保数据驱动决策的实时性和准确性。随着技术的迭代，实时数仓的架构将更加成熟和稳定，成为推动企业智能化转型的重要支撑。"