2 DolphinScheduler
时间: 2024-08-30 17:03:27 浏览: 39
DolphinScheduler是一个分布式、易扩展的可视化工作流任务调度系统。它主要被用于处理复杂的数据任务工作流,如数据集成、数据处理、定时调度等场景。DolphinScheduler支持高可用、容错性、分布式任务调度等特点,用户可以通过图形化界面来设计、执行和监控任务流程。
DolphinScheduler的设计采用插件化架构,使得系统扩展性较好。它通常包括以下核心组件:
1. **Master Server**:负责整个调度系统的任务分发和调度管理。
2. **Worker Server**:执行具体的任务实例。
3. **API Server**:提供API接口,供用户操作任务和工作流。
4. **Alert Server**:用于告警通知。
5. **UI Console**:提供Web界面,用户可以通过它来操作调度系统。
DolphinScheduler支持多种任务类型,包括Shell脚本任务、Java类任务、Hadoop任务等,并提供了定时调度、任务依赖、日志管理、任务告警等丰富的功能。
相关问题
Apache dolphinscheduler
Apache DolphinScheduler 是一款分布式工作流调度平台,主要用于自动化执行任务序列。以下是部署和使用它的简要概述:
1. **准备启动环境**[^1]:
- **创建部署用户**: 使用 `useradd` 命令创建名为 `dolphinscheduler` 的用户,确保以 `root` 用户权限登录并设置密码(这里假设密码为 "dolphinscheduler")。
- **配置sudo免密**: 添加到 `/etc/sudoers` 文件中,允许 `dolphinscheduler` 用户无需输入密码执行所有命令。
2. **权限设置**: 使用 `chown` 命令修改目录权限,确保 `dolphinscheduler` 可以访问 Apache DolphinScheduler 安装目录下的二进制文件。
3. **启动与登录**:
- **启动服务**: 通过部署用户的权限启动服务。浏览器访问 `http://localhost:12345/dolphinscheduler/ui` 可以看到系统界面。
- **初始登录**: 默认情况下,登录的用户名是 `admin`,密码是 `dolphinscheduler123`。
要深入了解DolphinScheduler的管理、任务编排以及配置选项,建议查阅官方文档或在线教程。有关更复杂的部署步骤、高级功能或自定义设置的问题可以包括:
dolphinscheduler 参数
DolphinScheduler 是一个分布式的、易扩展的、高可用的任务调度系统。以下是 DolphinScheduler 的一些常用参数:
1. 全局参数:
- `dolphinscheduler.env.path`: 配置文件路径
- `dolphinscheduler.log.path`: 日志文件路径
- `dolphinscheduler.log.retention`: 日志文件保留天数
- `dolphinscheduler.task.commit.retryTimes`: 任务重试次数
- `dolphinscheduler.task.commit.interval`: 任务提交间隔时间(单位秒)
- `dolphinscheduler.task.commit.retryInterval`: 任务重试间隔时间(单位秒)
- `dolphinscheduler.db.check.interval`: 数据库连接检查间隔时间(单位秒)
- `dolphinscheduler.db.maxWaitMillis`: 数据库连接等待超时时间(单位毫秒)
2. Master 参数:
- `dolphinscheduler.master.exec.threads`: Master 执行任务的线程数
- `dolphinscheduler.master.heartbeat.interval`: Master 心跳间隔时间(单位秒)
- `dolphinscheduler.master.task.commit.retryTimes`: Master 重试提交任务次数
- `dolphinscheduler.master.task.commit.interval`: Master 提交任务间隔时间(单位秒)
- `dolphinscheduler.master.task.commit.retryInterval`: Master 重试提交任务间隔时间(单位秒)
3. Worker 参数:
- `dolphinscheduler.worker.exec.threads`: Worker 执行任务的线程数
- `dolphinscheduler.worker.heartbeat.interval`: Worker 心跳间隔时间(单位秒)
- `dolphinscheduler.worker.fetch.task.num`: Worker 一次获取任务的数量
- `dolphinscheduler.worker.max.cpuload.avg`: Worker 最大 CPU 平均负载
- `dolphinscheduler.worker.max.cpu.usage`: Worker 最大 CPU 使用率
- `dolphinscheduler.worker.max.memory.usage`: Worker 最大内存使用率
以上是一些常用的 DolphinScheduler 参数,具体使用还需根据实际情况进行配置。