有赞大数据实践：ClickHouse在OLAP中的应用与未来探索

"这篇文档是关于ClickHouse在有赞公司的实际应用和平台化工具建设的分享，由有赞大数据OLAP负责人陈琦在2021年的DataFunSummit上发表。文中详细介绍了有赞OLAP的发展历程，ClickHouse的特点、原理以及在有赞的应用场景，同时探讨了未来的规划和一些探索方向。" 在有赞，OLAP（在线分析处理）的发展经历了多个阶段。最初，他们使用Presto解决离线数据的交互式分析问题，采用MPP（大规模并行处理）架构，全内存处理和Pipeline技术，适用于临时查询、BI报表和元数据分析。随着对实时数据分析的需求增加，2019年引入了Druid，针对性能要求高且精确度要求高的离线数据分析，通过完全预聚合立方体提供服务，如商家后台、流量分析和财务分析。同年，Kylin也被用于实时数据分析，支持明细动态聚合查询和物化视图，服务于SCRM、DMP、CDP、直播分析和日志指标分析等场景。 2020年，有赞选择了ClickHouse，这标志着其OLAP技术的进一步演进。ClickHouse的主要特性包括： 1. 灵活性：支持明细数据的SQL查询，能够处理复杂的数据分析任务，并通过物化视图来加速查询性能。 2. 扩展性：ClickHouse既支持多核（垂直扩展），提升单节点性能，又支持分布式处理（水平扩展），能够处理海量数据。 3. 高性能：ClickHouse设计为列式存储，优化了数据分析的I/O效率，特别适合于数据分析和报表生成。 4. 实时性：尽管ClickHouse最初设计为批量插入，但随着版本的迭代，其在实时分析方面的表现也越来越出色。 5. 简易性：ClickHouse提供了简单的HTTP接口，便于集成和使用。 在有赞，ClickHouse的应用涵盖了各种场景，包括但不限于实时监控、实时分析和实时数据产品。陈琦还分享了在有赞内部，如何进行ClickHouse的平台化工具建设，旨在提升数据分析效率，降低运维成本，并确保系统的稳定性和安全性。 对于未来规划，有赞可能会继续优化ClickHouse的使用，探索更高效的数据处理方式，例如可能结合其他技术（如Flink、Hudi等）构建更完善的数据湖解决方案，以满足不断增长的业务需求和分析复杂性。同时，他们也会持续关注社区的新技术和最佳实践，以便在必要时进行技术栈的更新和升级。