dolphinscheduler二次开发打包
时间: 2023-09-07 09:05:14 浏览: 88
DolphinScheduler是一款开源的分布式任务调度系统,可以实现自动化地调度和执行各种任务。如果需要对DolphinScheduler进行二次开发,并进行打包,需要按照以下步骤进行:
1. 克隆DolphinScheduler的源代码:在Github上找到DolphinScheduler的仓库并将其克隆到本地。
2. 将开发代码添加到源代码中:根据自己的需求,在克隆的源代码中添加新的功能或修改现有功能。可以根据实际情况修改调度器、执行器、调度API等。
3. 配置、编译和打包:根据二次开发所需的配置信息,修改`conf`目录下的相关配置文件。使用maven对代码进行编译,可以运行`mvn clean package -Dmaven.test.skip=true`命令进行打包,该命令会在`target`目录下生成打包结果。
4. 部署和运行:将打包的结果部署到服务器上,包括调度服务器和执行器节点。根据DolphinScheduler的部署文档将相关的配置文件、依赖库、打包结果等拷贝到相应的位置。运行DolphinScheduler的启动脚本以启动调度服务器和执行器节点。
5. 测试和验证:根据自己的需求进行相应的测试和验证,确保二次开发的功能能够正常运行。进行功能测试、性能测试、兼容性测试等,确保系统的稳定性和可靠性。
需要注意的是,二次开发需要对DolphinScheduler的源代码有一定的了解和熟悉。在进行二次开发之前,可以先阅读官方文档、源代码以及相关的社区讨论,这样能更好地理解整个系统的架构和设计理念,更方便进行二次开发和定制。
相关问题
dolphinscheduler 参数
DolphinScheduler 是一个分布式的、易扩展的、高可用的任务调度系统。以下是 DolphinScheduler 的一些常用参数:
1. 全局参数:
- `dolphinscheduler.env.path`: 配置文件路径
- `dolphinscheduler.log.path`: 日志文件路径
- `dolphinscheduler.log.retention`: 日志文件保留天数
- `dolphinscheduler.task.commit.retryTimes`: 任务重试次数
- `dolphinscheduler.task.commit.interval`: 任务提交间隔时间(单位秒)
- `dolphinscheduler.task.commit.retryInterval`: 任务重试间隔时间(单位秒)
- `dolphinscheduler.db.check.interval`: 数据库连接检查间隔时间(单位秒)
- `dolphinscheduler.db.maxWaitMillis`: 数据库连接等待超时时间(单位毫秒)
2. Master 参数:
- `dolphinscheduler.master.exec.threads`: Master 执行任务的线程数
- `dolphinscheduler.master.heartbeat.interval`: Master 心跳间隔时间(单位秒)
- `dolphinscheduler.master.task.commit.retryTimes`: Master 重试提交任务次数
- `dolphinscheduler.master.task.commit.interval`: Master 提交任务间隔时间(单位秒)
- `dolphinscheduler.master.task.commit.retryInterval`: Master 重试提交任务间隔时间(单位秒)
3. Worker 参数:
- `dolphinscheduler.worker.exec.threads`: Worker 执行任务的线程数
- `dolphinscheduler.worker.heartbeat.interval`: Worker 心跳间隔时间(单位秒)
- `dolphinscheduler.worker.fetch.task.num`: Worker 一次获取任务的数量
- `dolphinscheduler.worker.max.cpuload.avg`: Worker 最大 CPU 平均负载
- `dolphinscheduler.worker.max.cpu.usage`: Worker 最大 CPU 使用率
- `dolphinscheduler.worker.max.memory.usage`: Worker 最大内存使用率
以上是一些常用的 DolphinScheduler 参数,具体使用还需根据实际情况进行配置。
macbook本地如何部署dolphinscheduler 3.x 开发环境
在macOS上部署DolphinScheduler 3.x的开发环境需要进行以下步骤:
1. 安装Java JDK
在macOS上安装Java JDK可以通过Homebrew或者手动下载安装包的方式进行。推荐使用Homebrew进行安装,命令如下:
```
brew install openjdk
```
2. 安装MySQL
在macOS上安装MySQL也可以通过Homebrew进行,命令如下:
```
brew install mysql
```
安装完成后,需要启动MySQL服务:
```
brew services start mysql
```
3. 下载DolphinScheduler代码
可以从DolphinScheduler官方仓库中下载代码,地址为:https://github.com/apache/dolphinscheduler
```
git clone https://github.com/apache/dolphinscheduler.git
```
4. 初始化数据库
在MySQL中创建dolphinscheduler数据库,并且将dolphinscheduler/sql目录下的dolphinscheduler_creat.sql和dolphinscheduler_data.sql导入到数据库中。
5. 配置DolphinScheduler
在dolphinscheduler/conf目录下,将application-dev.sample.properties文件复制一份并且改名为application-dev.properties。修改文件中的数据库连接信息。
6. 编译并启动DolphinScheduler
在dolphinscheduler目录下,执行以下命令进行编译:
```
./gradlew build
```
编译完成后,执行以下命令启动DolphinScheduler:
```
./dolphinscheduler-daemon.sh start
```
以上就是在macOS上部署DolphinScheduler 3.x的开发环境的步骤,希望对你有帮助。