apache dolphinscheduler
时间: 2023-04-22 07:05:18 浏览: 85
Apache DolphinScheduler是一款开源的分布式调度系统,可以支持多种任务类型,如Hadoop MapReduce、Spark、Hive、Flink等,同时也支持自定义任务类型。它具有高可靠性、高可扩展性、易于使用和管理等特点,可以帮助用户实现任务的自动化调度和管理。
相关问题
apache dolphinscheduler 源码
Apache DolphinScheduler 的源代码可以在它的官方 GitHub 仓库中获取:https://github.com/apache/dolphinscheduler
在这个仓库中,你可以找到所有关于 DolphinScheduler 的源代码,包括后端、前端和调度引擎等部分。如果你想要了解 DolphinScheduler 的架构和实现细节,这些源代码将会是非常有用的资源。
apache-dolphinscheduler-3.1.3
Apache DolphinScheduler (海豚调度)是一个开源的大数据分布式工作流、任务调度系统,属于Apache基金会孵化器项目。DolphinScheduler能够支持Hadoop、Spark、Flink、Storm、Hive等大数据生态系统中的常用计算框架,支持Docker、Shell、Python等常用脚本语言。其最新版本为3.1.3。
该版本在上一个版本的基础上进行了多项升级和改进,包括:
1.添加了对Docker Compose的支持:
用户可以在调度任务时使用Docker Compose打包和运行任务。
2.Planner-Dynamic算法升级:
Planner-Dynamic算法可以根据任务执行延迟等不同因素进行动态调整,从而提高任务的执行效率和稳定性。
3.增加了任务执行状态监控:
用户可以实时查看任务执行的状态,包括任务的进度、日志和结果等。
4.优化了任务失败重试机制:
DolphinScheduler增加了任务失败重试机制,可以自动重试失败的任务,从而提高系统的稳定性和可靠性。
5.增加了多个Web UI支持:
DolphinScheduler增加了多个Web UI页面,包括对任务执行状态监控和调度任务等功能的支持,提供了更加易于使用的用户界面。
6.优化了系统性能和稳定性:
DolphinScheduler针对上一个版本中的一些问题进行了优化和改进,包括系统的性能、稳定性和可扩展性等方面。
综上所述,Apache DolphinScheduler 3.1.3版本在功能、性能、稳定性和易用性等方面得到了多项升级和改进,在大数据分布式任务调度和工作流领域具有广泛的应用前景。