阿里巴巴Blink:大数据实时计算引擎探索
"Blink:大数据实时计算.pdf,源自阿里巴巴实时计算部,主要探讨了大数据实时计算在阿里巴巴的应用、挑战以及Blink(阿里巴巴对Apache Flink的贡献)的解决方案。 阿里巴巴实时计算部处理的数据规模极其庞大,每天处理PB级别的数据,每秒处理上亿个事件,而且这种处理不仅仅是对静态数据的查询,还包括对不断变化的数据进行实时分析。实时计算的应用场景广泛,涵盖了双11大屏展示、实时机器学习和实时A/B测试等。 1. 双11大屏:在阿里巴巴的双11活动中,实时计算保证了大屏数据的高可用性,提供了亚秒级延迟的更新,确保了交易数据、流量数据等关键指标的实时展现。 2. 实时机器学习:实时流数据与批量数据结合,通过日志解析、聚合、累加器等手段,用于特征提取和模型训练。Blink支持在线服务,如匹配服务,可以实现梯度下降法更新权重,并将更新后的模型存储于外部存储,以便快速服务于在线预测。 3. 实时A/B测试:收集用户的行为数据,如浏览、点击和交易记录,经过解析、过滤和JOIN操作,结合自定义函数(UDF)和聚合(AGG)进行数据处理,最终结果可能存储在如Druid这样的数据处理系统中,以支持快速查询和分析。 阿里巴巴面临的数据基础设施挑战包括大量作业、海量数据、精确一次语义、复杂的逻辑、上千台机器的管理和严格的SLA(服务水平协议)、低延迟和高吞吐量要求。为了解决这些问题,阿里巴巴引入并发展了Blink,它是基于Apache Flink的,旨在提供更高效、稳定且易用的实时计算平台。 Blink作为阿里巴巴对Apache Flink的增强版本,不仅继承了Flink的核心特性,如流批一体、状态管理、容错机制等,还针对阿里巴巴的业务场景进行了优化,例如提升了处理大规模状态的能力、改进了复杂逻辑的执行效率,以满足阿里巴巴内部和外部客户对于大数据实时计算的需求。"
![](https://csdnimg.cn/release/download_crawler_static/88254549/bg7.jpg)
剩余33页未读,继续阅读
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/28105908048e4518a28a3457cdef3389_weixin_40191861.jpg!1)
- 粉丝: 77
- 资源: 1万+
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 构建Cadence PSpice仿真模型库教程
- VMware 10.0安装指南:步骤详解与网络、文件共享解决方案
- 中国互联网20周年必读:影响行业的100本经典书籍
- SQL Server 2000 Analysis Services的经典MDX查询示例
- VC6.0 MFC操作Excel教程:亲测Win7下的应用与保存技巧
- 使用Python NetworkX处理网络图
- 科技驱动:计算机控制技术的革新与应用
- MF-1型机器人硬件与robobasic编程详解
- ADC性能指标解析:超越位数、SNR和谐波
- 通用示波器改造为逻辑分析仪:0-1字符显示与电路设计
- C++实现TCP控制台客户端
- SOA架构下ESB在卷烟厂的信息整合与决策支持
- 三维人脸识别:技术进展与应用解析
- 单张人脸图像的眼镜边框自动去除方法
- C语言绘制图形:余弦曲线与正弦函数示例
- Matlab 文件操作入门:fopen、fclose、fprintf、fscanf 等函数使用详解
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)