Flink 1.10发布:Blink集成完成,强化Hive与K8S支持
94 浏览量
更新于2024-09-02
收藏 330KB PDF 举报
"Flink 1.10 版本正式发布,完成了与Blink的集成,增强了对Hive的整合,以及对Kubernetes(K8S)的支持。此版本着重优化了内存管理,提供了K8S集成方案,并提升了与Hive的兼容性。"
Apache Flink的1.10.0版本是社区努力的结晶,它修复了超过1200个问题,显著提高了Flink作业的性能和稳定性,并扩展了对Kubernetes和Python的兼容性。这个版本的亮点在于完成了与Blink的融合,加强了流式SQL与Hive的集成,使得数据处理更加高效便捷。
首先,Flink 1.10在内存管理方面进行了重要优化。原先的TaskExecutor内存模型存在不同配置模型的问题,特别是流处理和批处理之间的差异,以及RocksDB堆外配置的复杂性。为了简化和清晰化内存管理,Flink 1.10改进了TaskExecutor的内存模型和配置,使得它能够更好地适应各种部署环境,包括K8S、Yarn和Mesos。这种改进还统一了入口点,简化了如Zeppelin等下游框架的编程接口。
其次,Flink 1.10引入了对Kubernetes的深度集成。这使得在容器环境中运行Flink成为可能。Flink的ResourceManager现在可以与Kubernetes进行本地交互,动态分配Pod来满足作业需求,类似其在Yarn和Mesos上的行为。用户可以通过配置RBAC角色和服务账户来安全地在多租户环境中启动Flink集群。提交作业到Kubernetes上的Flink会话只需简单的CLI命令即可实现。
此外,Flink 1.10在Hive集成上取得了重大突破,使其适用于生产环境。该版本支持广泛的Hive版本,包括从1.0到3.1的所有主要分支。这意味着用户可以无缝地将Flink作业与现有的Hive元数据和表结构集成,极大地拓宽了Flink的使用场景。
Flink 1.10的发布为大数据处理带来了更强大的工具,提升了在分布式环境中的灵活性,加强了与关键组件如Hive的协同,以及在Kubernetes平台上的适应性,这些都是对数据处理领域的重要贡献。
2020-10-12 上传
2021-04-16 上传
2019-08-08 上传
2024-02-28 上传
2023-08-26 上传
点击了解资源详情
点击了解资源详情
点击了解资源详情
点击了解资源详情
weixin_38621104
- 粉丝: 1
- 资源: 957
最新资源
- 探索AVL树算法:以Faculdade Senac Porto Alegre实践为例
- 小学语文教学新工具:创新黑板设计解析
- Minecraft服务器管理新插件ServerForms发布
- MATLAB基因网络模型代码实现及开源分享
- 全方位技术项目源码合集:***报名系统
- Phalcon框架实战案例分析
- MATLAB与Python结合实现短期电力负荷预测的DAT300项目解析
- 市场营销教学专用查询装置设计方案
- 随身WiFi高通210 MS8909设备的Root引导文件破解攻略
- 实现服务器端级联:modella与leveldb适配器的应用
- Oracle Linux安装必备依赖包清单与步骤
- Shyer项目:寻找喜欢的聊天伙伴
- MEAN堆栈入门项目: postings-app
- 在线WPS办公功能全接触及应用示例
- 新型带储订盒订书机设计文档
- VB多媒体教学演示系统源代码及技术项目资源大全