阿里巴巴实时计算新特性:Flink on Kubernetes详解
需积分: 5 3 浏览量
更新于2024-08-03
收藏 8.35MB PDF 举报
“藏经阁-阿里巴巴大数据产品最新特性介绍—实时计算 Flink on Kubernetes.pdf”
本文将详细介绍阿里巴巴大数据产品——实时计算 Flink on Kubernetes 的最新特性。Flink on Kubernetes 是阿里巴巴实时计算产品的一个新形态,它结合了 Apache Flink 的强大功能与 Kubernetes 的优势,以提供更高效、灵活和可扩展的实时数据处理能力。
首先,Flink 1.9 版本引入了主要的新功能,如统一的 SQL 支持,这使得用户能够更方便地在流处理和批处理中使用 SQL。Flink 的 SQL 优化器和执行器经过改进,提供了更高的性能。此外,Flink 1.9 引入了统一高效的算子框架,允许更灵活的 chaining 策略,并且支持自定义调度插件,以适应各种工作负载需求。增量 checkpoint 功能则进一步提高了系统的容错性和恢复效率。
实时计算 Flink 产品在阿里云上提供了三种托管模式:共享模式、独享模式和 Flink on K8S。共享模式下,用户可以使用 Flink 1.6 至 1.9 的不同版本,并享受到指标收集和展示等增值服务。独享模式则增加了 BlinkSQL 和作业监控报警等功能。Flink on Kubernetes 提供了完整的开发控制台,支持 BlinkSQL、UDX、指标收集、作业监控和报警,以及 Ververica 平台,这是一个基于 Flink 的企业级解决方案。
选择 Flink on Kubernetes 的原因在于 Kubernetes(K8S)提供的资源隔离、生态系统优势和资源弹性。对于实时风控、实时推荐等高优先级任务,K8S 能够保证常驻进程并确保任务的重要性。同时,K8S 的资源管理机制能够根据需求动态调整资源分配,适应业务波动。
在 Flink on Kubernetes 中,Ververica Platform 提供了 Workspace、Runtime 等组件,支持 DataStream/Table API、Streaming JOB 和 UnifiedSQL,便于进行数据分析和机器学习。Alink、Libra 和 Gemini 等工具进一步增强了机器学习和智能调优的能力。Prometheus、Metric/Alerts、ELK/SLS 和 Logs 等监控和日志管理工具确保了系统的稳定运行和问题排查。
最后,用户可以通过阿里云工单系统申请试用 Flink on Kubernetes,提供产品名称和试用申请内容,即可开始体验这个高效、全面的实时计算解决方案。
2023-09-05 上传
2023-09-04 上传
2023-09-09 上传
2023-09-09 上传
2024-01-11 上传
2023-09-01 上传
2023-09-11 上传
2023-03-21 上传
2021-10-11 上传
weixin_40191861_zj
- 粉丝: 83
- 资源: 1万+
最新资源
- 单片机串口通信仿真与代码实现详解
- LVGL GUI-Guider工具:设计并仿真LVGL界面
- Unity3D魔幻风格游戏UI界面与按钮图标素材详解
- MFC VC++实现串口温度数据显示源代码分析
- JEE培训项目:jee-todolist深度解析
- 74LS138译码器在单片机应用中的实现方法
- Android平台的动物象棋游戏应用开发
- C++系统测试项目:毕业设计与课程实践指南
- WZYAVPlayer:一个适用于iOS的视频播放控件
- ASP实现校园学生信息在线管理系统设计与实践
- 使用node-webkit和AngularJS打造跨平台桌面应用
- C#实现递归绘制圆形的探索
- C++语言项目开发:烟花效果动画实现
- 高效子网掩码计算器:网络工具中的必备应用
- 用Django构建个人博客网站的学习之旅
- SpringBoot微服务搭建与Spring Cloud实践