有赞实时计算演进：从Storm到Flink的效率提升实践

"有赞公司从使用Storm到转用Flink的实时计算发展历程及效率提升实践" 在有赞公司的实时数仓实践中，他们经历了从早期的Storm到JStorm，再到SparkStreaming，最后采用Flink的实时计算技术演进。这个过程中，实时计算技术在有赞的发展可以分为两个主要阶段：起步阶段和平台化阶段。 2.1 起步阶段 在这个阶段，实时计算系统缺乏整体规划和管理工具，任务提交依赖于直接登录服务器进行命令行操作，这对可用性和稳定性提出了挑战。尽管如此，这个阶段为有赞积累了丰富的实时计算场景。2014年，Storm首次被引入，用于处理MySQL binlog事件，实现业务数据的实时统计和更新。随着时间推移，Storm支持了越来越多的业务，但其在高吞吐量场景下的表现不尽人意，延迟问题逐渐暴露。 2.1.2 引入SparkStreaming 为解决Storm的性能瓶颈，2016年末，有赞开始尝试使用SparkStreaming。由于有赞在离线计算领域已经积累了大量Spark任务的经验，SparkStreaming成为了自然而然的选择。随着业务日志系统和埋点日志的实时应用接入，SparkStreaming逐渐在多个业务场景中得到应用。 2.2 平台化阶段 随着实时计算需求的增长和场景的复杂化，有赞进入了平台化阶段。在这个阶段，他们开始构建统一的实时计算平台，提供任务管理、监控和报警工具，以提高服务的可用性和稳定性。在此期间，Flink作为新兴的流处理引擎，以其强大的性能和低延迟特性，逐渐吸引了有赞的注意。 Flink的出现解决了Storm在高吞吐量场景下的性能问题，并且提供了更强大的状态管理和窗口功能，使得实时计算能够更好地服务于交易数据大屏、商品实时统计分析、日志平台、调用链和风控等多个业务场景。有赞通过引入Flink，不仅提升了实时计算的效率，还简化了任务运维，实现了实时计算平台的标准化和规范化。 总结起来，有赞的实时计算实践展示了实时数仓技术如何从初期的单一工具发展到多元化选择，以及如何通过不断迭代和优化，提升实时数据处理的效率和质量。从Storm到Flink的转变，反映了实时计算领域的技术进步和业务需求的变化，同时也体现了有赞在技术创新和应用实践上的敏锐度。