腾讯Flink实时流计算平台Oceanus的演进与优化

"腾讯基于Flink的实时流计算平台演进之路" 腾讯在实时计算领域的探索始于对Flink的采用，旨在替代原有的Storm系统。2017年，腾讯开始评估Flink，研究其在替换Storm时的可行性、特性和性能表现。Storm之前虽然在腾讯内部广泛使用，但存在一些不足，如缺乏内置状态支持、完备的容错机制、窗口API以及Exactly-once语义保证。 在2017下半年，腾讯基于社区的1.3.2版本进行定制开发，并选取了一个高流量业务作为试点，采用Flink的standalone部署模式进行替换。随着对Flink理解的深入，腾讯在2018年上半年着手构建Oceanus平台，这是一个集成了全流程和一体化的实时流计算解决方案，目的是降低业务构建实时应用的复杂度和运维成本，同时也确定了使用Flink on YARN作为主要运行模式。 到了2018下半年，Oceanus平台已具备处理各种流计算任务的能力，腾讯内部的实时流计算业务开始迁移并稳定运行。同时，该平台开始服务于腾讯云、其他事业群及业务线，还整合进了大数据套件，为私有云客户提供流计算服务。 2019年，腾讯在Oceanus上进一步发展场景化服务，如在线机器学习和风控服务，并且在Flink的批处理功能上投入精力，利用其跨数据中心和数据源的联合分析能力。通过数据源SQL下推减少资源浪费，CBO（基于代价优化）在单DC内生成最优执行计划，以及跨DC CBO根据DC负载和资源选择最佳计算位置，有效提升了资源利用率和计算效率。 腾讯的这一演进过程体现了其在实时计算领域的创新与技术迭代，通过Flink的不断优化和扩展，构建了强大的实时流计算平台，不仅解决了原有系统的局限性，还推动了内部业务的高效运行，同时对外提供了更优质的服务。