apache-dolphinscheduler-3.1.3
时间: 2023-06-14 09:01:44 浏览: 178
Apache DolphinScheduler (海豚调度)是一个开源的大数据分布式工作流、任务调度系统,属于Apache基金会孵化器项目。DolphinScheduler能够支持Hadoop、Spark、Flink、Storm、Hive等大数据生态系统中的常用计算框架,支持Docker、Shell、Python等常用脚本语言。其最新版本为3.1.3。
该版本在上一个版本的基础上进行了多项升级和改进,包括:
1.添加了对Docker Compose的支持:
用户可以在调度任务时使用Docker Compose打包和运行任务。
2.Planner-Dynamic算法升级:
Planner-Dynamic算法可以根据任务执行延迟等不同因素进行动态调整,从而提高任务的执行效率和稳定性。
3.增加了任务执行状态监控:
用户可以实时查看任务执行的状态,包括任务的进度、日志和结果等。
4.优化了任务失败重试机制:
DolphinScheduler增加了任务失败重试机制,可以自动重试失败的任务,从而提高系统的稳定性和可靠性。
5.增加了多个Web UI支持:
DolphinScheduler增加了多个Web UI页面,包括对任务执行状态监控和调度任务等功能的支持,提供了更加易于使用的用户界面。
6.优化了系统性能和稳定性:
DolphinScheduler针对上一个版本中的一些问题进行了优化和改进,包括系统的性能、稳定性和可扩展性等方面。
综上所述,Apache DolphinScheduler 3.1.3版本在功能、性能、稳定性和易用性等方面得到了多项升级和改进,在大数据分布式任务调度和工作流领域具有广泛的应用前景。
阅读全文