小红书OLAP演进：从Presto到Gravity，揭秘实时分析与数据平台升级

小红书的OLAP（在线分析处理）演进之路概述了该公司在数据处理和分析技术上的发展历程。从2017年到2021年，小红书逐步引入并优化了多种OLAP技术，如Presto、TiFlash、Clickhouse、DorisDB和Redshift，以适应其日益增长的数据需求和业务复杂性。 在2021年的演进中，关键节点包括： 1. **OLAP演进历史**：从早期的Presto作为基础，小红书逐渐引入了更高效的数据处理引擎，如TiFlash和Clickhouse，它们以其快速查询性能和大数据处理能力被广泛应用。 2. **使用场景**：小红书的应用场景涵盖了即席分析平台、电商实时数据中心和广告数据中心。即席分析平台通过ClickHouse的强大性能，实现了秒级延迟的实时分析，适用于日志处理和报表生成。电商实时数据中心则聚焦于高流量下的实时数据服务，支持订单信息的实时更新和统计。 3. **数据仓库体系融合**：随着数据增长，小红书构建了一个包含日志、RDBMS、NoSQL存储（如HBase）、数据流处理（如Spark和Kafka）等在内的多元数据体系，并结合Flink进行数据处理。 4. **DorisDB的应用优化**：在广告数据中心，DorisDB因其高效的查询能力、Rollup功能和高并发支持，解决了数据处理复杂度和高可用性的问题。数据模型设计包括明细、聚合和更新模型，以及分区、排序键稀疏索引和Hash分桶等特性，以提升数据查询性能。 5. **挑战与优化**：在演进过程中，小红书面临了数据需求多样性、维护复杂性和系统扩展性的挑战。通过引入DorisDB，他们优化了数据模型和架构，以解决这些问题，提高整体数据处理效率。 6. **未来规划**：小红书的OLAP演进还在继续，计划通过持续的技术升级和创新，提升数据处理能力，更好地支持业务增长和多元化数据分析需求。 小红书的OLAP演进之路展现了他们在数据技术上的战略选择和不断优化的过程，以应对业务挑战，推动公司数据驱动决策的发展。