阿里妈妈Dolphin智能引擎：Flink+Hologres驱动的万亿级数据计算实践

阿里妈妈Dolphin智能计算引擎基于Flink和Hologres的实践是由阿里妈妈事业部的数据引擎团队，由徐闻春（陌奈）领导的技术专家所提出的一种创新解决方案。该团队致力于开发能够处理海量数据的高性能计算引擎，以支持阿里巴巴众多营销产品的高效运行，如万相台、直通车、超级推荐和达摩盘。 Dolphin引擎的核心能力在于SQL转译和IndexBuild模块，它自研了索引技术，并能够处理来自不同数据源的异构数据。其架构设计能够实现SQL查询的高效执行，包括对实时数据（如AI和Streaming）的智能物化以及近似计算，以降低对通用引擎的依赖并提供超大规模领域的计算性能。此外，Dolphin引擎还支持Lookalike人群推荐、人群圈选、洞察分析等功能，满足营销活动中多样化的业务需求。 在技术解决方案方面，Dolphin引擎可以处理每天高达2亿次的请求，每秒钟处理3000个查询，支持PB级别的数据存储和百万级的广告主。它采用Flink作为计算存储层的基石，结合Hologres和其他引擎，为10多个业务部门提供强大的支撑。Flink在这里扮演着关键角色，它的实时流处理能力对于处理广告效果分析和实时数据至关重要。 徐闻春在阿里妈妈团队中负责Dolphin引擎的研发和推广，从基础的OLAP计算升级到AI在线计算，再到与Streaming和Batch的融合，他推动了gpdb-faiss-vector向量计算库的开源，并获得了多项OLAP计算相关的专利。他还与清华大学李国良实验室合作，致力于推动Dolphin引擎的AI智能化升级，进一步增强其在大数据分析和机器学习方面的性能。 阿里妈妈Dolphin智能计算引擎通过结合Flink的高效实时处理能力和Hologres的大数据存储，提供了强大且成本效益高的解决方案，以满足商家端营销活动中的复杂计算需求，显著提升了广告主的运营效率和效果预测能力。