Blink:阿里巴巴的实时计算新引擎解析
“Blink:阿里新一代实时计算引擎 - 马国维 - QCon演讲” 在阿里巴巴高级技术专家马国维的QCon演讲《Blink:阿里新一代实时计算引擎》中,他详细介绍了实时计算引擎的发展,特别是Blink这一创新技术。这场演讲涵盖了流处理架构、Flink与Blink的区别以及未来的发展规划。 首先,马国维讲解了流处理架构的基础。流处理是指处理无界数据的过程,与传统的批处理不同,它设计的目标是处理无限的数据集。在流处理架构中,用户的代码会持续运行,不断处理新进来的数据。流处理的一个关键特性是状态管理,即计算与状态的结合。例如,计数器、过去事件的窗口、状态机和训练的机器学习模型等都需要维护状态。状态ful的流处理引擎提供了管理这些状态的工具,包括恢复、回滚、版本控制和升级等。 接着,马国维引入了事件时间的概念。在事件时间流处理中,每个数据记录都与时间戳关联,处理依赖于这些时间戳。为了处理乱序到达的事件,事件时间流处理引擎引入了水印(watermarks)机制,这是一种用于衡量事件时间的时钟。水印允许系统处理延迟到达的数据,同时确保结果的正确性。 演讲还指出,流处理已经逐渐涵盖了批处理的能力。在某些场景下,流处理可以视为批处理的超集,这意味着能够实时处理数据的同时,也能处理历史数据的批量任务。 然后,马国维对比了Flink和Blink。Flink是开源的流处理框架,而Blink是阿里巴巴基于Flink进行优化和扩展的新一代实时计算引擎。Blink在Flink的基础上增强了性能、降低了资源消耗,并且提供了更丰富的SQL支持和优化,使得实时计算更加高效和易用。Blink的设计目标是为企业级的大规模实时计算提供解决方案,尤其是在阿里巴巴的电商、物流、广告等业务场景中。 最后,马国维展望了Blink的未来计划。这可能包括进一步提升处理能力、优化资源利用率、增强容错性和可扩展性,以及继续发展SQL接口和生态系统集成,以适应更多样化的实时计算需求。 Blink作为阿里新一代的实时计算引擎,是Flink的进化版,旨在提供更强大、更稳定、更易于使用的实时数据处理能力,对于处理大规模实时数据流的现代企业来说,具有重要的价值和意义。
![](https://csdnimg.cn/release/download_crawler_static/11634857/bg6.jpg)
剩余26页未读,继续阅读
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![.pptx](https://img-home.csdnimg.cn/images/20210720083646.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
- 粉丝: 376
- 资源: 2万+
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 电力电子系统建模与控制入门
- SQL数据库基础入门:发展历程与关键概念
- DC/DC变换器动态建模与控制方法解析
- 市***专有云IaaS服务:云主机与数据库解决方案
- 紫鸟数据魔方:跨境电商选品神器,助力爆款打造
- 电力电子技术:DC-DC变换器动态模型与控制
- 视觉与实用并重:跨境电商产品开发的六重价值策略
- VB.NET三层架构下的数据库应用程序开发
- 跨境电商产品开发:关键词策略与用户痛点挖掘
- VC-MFC数据库编程技巧与实现
- 亚马逊新品开发策略:选品与市场研究
- 数据库基础知识:从数据到Visual FoxPro应用
- 计算机专业实习经验与项目总结
- Sparkle家族轻量级加密与哈希:提升IoT设备数据安全性
- SQL数据库期末考试精选题与答案解析
- H3C规模数据融合:技术探讨与应用案例解析
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)