有赞大数据实践：ClickHouse OLAP技术解析

"该资源是DataFunSummit的一次演讲，主题是‘ClickHouse在有赞的实践’，由有赞大数据OLAP负责人陈琦分享。演讲内容涵盖了有赞OLAP的发展历程，以及ClickHouse的特性和应用。" 在有赞这家商家服务公司，OLAP（在线分析处理）扮演着至关重要的角色，它涉及到商家服务、SaaS服务、PaaS云服务和支付业务等多个业务领域的数据分析。随着业务的发展，有赞经历了从离线数据的交互式分析到实时数据分析的不同阶段，使用了如Druid、Presto、Druid和Kylin等不同的数据处理工具。 2018年，有赞引入了Presto进行实时数据分析，解决了临时查询、BI报表和元数据等问题，而Druid则因其高性能和对精确度的高要求，被用于商家后台、流量分析和财务分析。随后，Kylin在实时数据分析领域发挥作用，支持明细动态聚合查询和物化视图，服务于SCRM、DMP、CDP、直播分析和日志指标分析等多种场景。 2020年，有赞选择了ClickHouse作为新的OLAP解决方案。ClickHouse以其独特的特性和优势脱颖而出。它具备以下特点： 1. 灵活性：支持SQL查询明细数据，并可以通过物化视图加速查询性能。 2. 扩展性：采用多核（垂直扩展）和分布式处理（水平扩展）的MPP架构，可适应大规模数据处理需求。 3. 实时与批量数据处理：支持实时和批量数据摄入，满足快速数据处理的需求。 4. 高效存储与执行：利用列式存储、向量化引擎和代码编译生成，显著提升查询速度。 5. 索引机制：提供主键索引和二级索引，优化查询效率。 然而，ClickHouse也存在不足，如不支持高速低延迟的更新和删除操作，稀疏索引导致点查性能不强，且不支持事务。尽管如此，ClickHouse在用户行为分析和精细化运营分析等领域表现出色，例如日活、留存率分析等，这在用户增长和用户体验优化方面至关重要。 ClickHouse在有赞的实践中体现了其在OLAP场景下的强大能力，尤其是在大数据实时分析和精细化运营分析中的价值。通过不断探索和选择适合的OLAP工具，有赞得以提升其数据分析能力，更好地服务于商家和用户。