有赞ClickHouse实践：使用与优化探索

"陈琦在网易数帆技术沙龙分享了《ClickHouse在有赞的使用和优化》，探讨了ClickHouse在有赞内部的应用、平台化建设以及未来规划。陈琦是有赞基础架构组的OLAP负责人，对多个大数据项目有所贡献。" 在有赞，ClickHouse被广泛应用于数据仓库和分析领域，特别是在大规模数据量下实现离线读写分离，解决了业务中写入多、读取少的问题。ClickHouse作为一款高性能的OLAP（在线分析处理）数据库，它的主要特点包括： 1. 灵活性：ClickHouse支持明细数据的SQL查询，并通过物化视图提高查询速度。 2. 扩展性：ClickHouse具备垂直和水平扩展能力，采用MPP（大规模并行处理）架构，适合处理大量数据。 3. 实时处理：能够处理实时批量数据摄入，适应实时数据分析需求。 4. 列式存储：优化读取效率，尤其适合分析任务。 5. 向量化引擎与编译生成：利用现代CPU的多核能力，通过编译优化提升执行速度。 6. 索引机制：支持主键和二级索引，但更新和删除操作性能相对较弱。 然而，ClickHouse在点查询性能、稀疏索引和事务支持方面存在不足，这限制了其在某些特定场景中的应用。尽管如此，在用户行为分析、精细化运营、实时日志分析等场景中，ClickHouse表现出色，例如用于日活跃用户统计、留存率分析、路径分析、转化率计算以及实时监控。 在有赞的OLAP发展历程中，除了ClickHouse，还引入了其他如Presto、Druid和Kylin等工具。Presto适用于临时查询和BI报表，Druid则在性能和精度要求高的离线分析中发挥作用，而Kylin则用于实时数据分析，尤其是在SCRM（社交客户关系管理）、DMP（数据管理平台）和CDP（客户数据平台）等场景。 未来，有赞在OLAP领域的规划可能涉及自研新数据库的探索，比如尝试将Doris和ClickHouse进行融合，以进一步优化性能和功能，满足更多样化的业务需求。 ClickHouse在有赞的实践中扮演了关键角色，它与有赞的OLAP平台和组件优化紧密相连，不断推动着大数据分析能力的提升。同时，通过与不同OLAP工具的对比和选择，有赞在大数据处理上形成了多元化、互补性的技术栈。