巨鲸调度平台:Spark和Flink任务的全面管理
需积分: 40 12 浏览量
更新于2024-11-13
1
收藏 3.84MB ZIP 举报
资源摘要信息:"Big Whale是一个分布式计算任务调度系统,由美柚大数据研发。它主要负责处理与调度Spark、Flink等批处理任务,并对实时任务进行运行管理和状态监控。Big Whale具备多种功能,如Yarn应用管理、重复应用检测、大内存应用检测等,从而简化了分布式计算任务的管理流程。
在架构上,Big Whale采用了基于SSH的脚本执行机制,使得部署过程简单快捷,并且仅需单个服务即可完成。另外,它基于Yarn Rest Api实现任务状态同步,这一机制对Spark和Flink的应用版本没有限制。这样的设计让Big Whale支持分布式环境下的任务执行,具备任务失败重试、任务依赖管理以及复杂任务编排(DAG)等功能。
Big Whale的部署流程首先需要准备好Java开发环境(版本要求为1.8或更高)和Mysql数据库(版本要求为5.1.0或更高)。获取Big Whale项目的方式可以通过下载压缩包或者使用git clone命令。
Big Whale不仅仅是一个简单的任务调度器,它还提供了实时任务监控的功能。这意味着,对于那些使用Spark和Flink进行实时数据处理的用户来说,Big Whale不仅可以调度他们的批处理任务,还可以监控实时任务的运行状态,确保任务的顺畅进行和及时的问题反馈。这样的设计对于大数据处理和实时分析工作至关重要。
作为一个使用Spring Boot 2.0开发的服务,Big Whale打成包后即可运行,具有良好的封装性和可移植性。这一点对于现代运维环境来说十分友好,因为它降低了部署和维护的复杂度,使得开发者可以更专注于业务逻辑的实现。
综上所述,Big Whale为大数据处理工作提供了全面的支持,无论是在批处理任务的调度,还是实时任务的监控管理上,它都能够提供强大的功能和稳定的服务。随着大数据技术的不断发展和应用的深入,Big Whale作为一个支持Spark、Flink等主流大数据处理框架的调度和监控平台,未来的发展潜力巨大。"
2020-11-25 上传
2021-06-13 上传
2021-06-12 上传
2023-07-27 上传
2023-09-06 上传
2023-05-10 上传
2023-08-30 上传
2024-08-04 上传
2023-08-24 上传
![](https://profile-avatar.csdnimg.cn/c7003185da8a4513ac98ca226d2ed55d_weixin_42126749.jpg!1)
努力中的懒癌晚期
- 粉丝: 35
- 资源: 4716
最新资源
- 基于ssm+jsp的高校大学生党建系统源码数据库文档.zip
- DirectX教程_DirectX教程_DirectX教程_DirecteXtension_
- 基于Java开发的简单、易用、高性能的服务降级系统,支持限流、熔断和降级等功能,服务端必备!!.zip
- Hibernate-Spatial-5-Sample:Hibernate Spatial 5基础教程之后的代码示例
- Binome-Maha-Tiphaine
- sass
- stretch:LESS变量,mixin,函数和辅助函数的集合
- go代码-Go 并发
- pipe_mul8.rar_MUL8_pipe verilog_乘法器 verilog_流水线 verilog_流水线乘法器
- Spirng+SpringMVC+SpringSecurity+Thymeleaf+基于Java配置的登录小项目.zip
- 基于ssm+vue学生学籍管理系统源码数据库文档.zip
- DH110-Adam-Kaba
- AdvancedAndroidConcepts:拜尔德演讲中涉及的所有主题的代码
- estimation原_IEEE30_IEEE标准测试系统_节点_状态估计_
- express-exercise-1:05-13-20星期三(DigitalCrafts)
- 用于查询SecurityTrails API数据的客户端组-Golang开发