阿里巴巴Blink：大数据实时计算引擎探索

"Blink：大数据实时计算.pdf，源自阿里巴巴实时计算部，主要探讨了大数据实时计算在阿里巴巴的应用、挑战以及Blink（阿里巴巴对Apache Flink的贡献）的解决方案。 阿里巴巴实时计算部处理的数据规模极其庞大，每天处理PB级别的数据，每秒处理上亿个事件，而且这种处理不仅仅是对静态数据的查询，还包括对不断变化的数据进行实时分析。实时计算的应用场景广泛，涵盖了双11大屏展示、实时机器学习和实时A/B测试等。 1. 双11大屏：在阿里巴巴的双11活动中，实时计算保证了大屏数据的高可用性，提供了亚秒级延迟的更新，确保了交易数据、流量数据等关键指标的实时展现。 2. 实时机器学习：实时流数据与批量数据结合，通过日志解析、聚合、累加器等手段，用于特征提取和模型训练。Blink支持在线服务，如匹配服务，可以实现梯度下降法更新权重，并将更新后的模型存储于外部存储，以便快速服务于在线预测。 3. 实时A/B测试：收集用户的行为数据，如浏览、点击和交易记录，经过解析、过滤和JOIN操作，结合自定义函数（UDF）和聚合（AGG）进行数据处理，最终结果可能存储在如Druid这样的数据处理系统中，以支持快速查询和分析。 阿里巴巴面临的数据基础设施挑战包括大量作业、海量数据、精确一次语义、复杂的逻辑、上千台机器的管理和严格的SLA（服务水平协议）、低延迟和高吞吐量要求。为了解决这些问题，阿里巴巴引入并发展了Blink，它是基于Apache Flink的，旨在提供更高效、稳定且易用的实时计算平台。 Blink作为阿里巴巴对Apache Flink的增强版本，不仅继承了Flink的核心特性，如流批一体、状态管理、容错机制等，还针对阿里巴巴的业务场景进行了优化，例如提升了处理大规模状态的能力、改进了复杂逻辑的执行效率，以满足阿里巴巴内部和外部客户对于大数据实时计算的需求。"