dolphinscheduler1.3.4线程数调优

时间: 2023-08-04 12:08:13 浏览: 51
DolphinScheduler 性能调优可以从多个方面入手,其中线程数是一个重要的因素。以下是一些可以尝试的方法: 1. 调整服务端线程池大小: DolphinScheduler 后台任务执行时,会使用线程池来管理线程,可以通过调整线程池大小来提高性能。在 `dolphinscheduler-server/src/main/resources/application.properties` 配置文件中,可以找到以下属性: ``` # server thread pool parameters dolphinscheduler.server.work.thread.max=100 dolphinscheduler.server.executor.thread.num=100 ``` 其中,`dolphinscheduler.server.executor.thread.num` 是任务执行线程池的大小,`dolphinscheduler.server.work.thread.max` 是工作线程池的大小。根据服务器的 CPU 核心数和内存情况,适当调整这两个属性的值。 2. 调整客户端线程池大小: DolphinScheduler 的 Web 服务与后台服务通信时,也会使用线程池来管理线程。可以在 `dolphinscheduler-api/src/main/resources/application.properties` 配置文件中找到以下属性: ``` # client thread pool parameters dolphinscheduler.client.thread.num=100 ``` 将 `dolphinscheduler.client.thread.num` 设置为适当的值,可以提高客户端访问后台服务的效率。 3. 调整数据库连接池大小: DolphinScheduler 使用的是 Druid 数据库连接池,可以在 `dolphinscheduler-server/src/main/resources/application.properties` 配置文件中找到以下属性: ``` # datasource parameters spring.datasource.type=com.alibaba.druid.pool.DruidDataSource spring.datasource.driver-class-name=com.mysql.jdbc.Driver spring.datasource.url=jdbc:mysql://localhost:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false spring.datasource.username=root spring.datasource.password=123456 spring.datasource.initialSize=5 spring.datasource.minIdle=5 spring.datasource.maxActive=100 spring.datasource.maxWait=60000 ``` 其中,`spring.datasource.maxActive` 是连接池中最大的活跃连接数,可以根据数据库的负载情况进行调整。 4. 调整 JVM 参数: DolphinScheduler 使用的是 Java 技术栈,可以通过调整 JVM 参数来提高性能。具体的参数可以根据服务器的硬件配置和应用场景进行调整,一些常见的参数包括: ``` # JVM parameters -Xms2g -Xmx2g -XX:MaxDirectMemorySize=1g -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:+HeapDumpOnOutOfMemoryError ``` 其中,`-Xms` 和 `-Xmx` 分别是 JVM 堆的初始大小和最大大小,可以根据服务器的内存情况进行调整。`-XX:MaxDirectMemorySize` 是直接内存的最大值,可以根据应用场景进行调整。`-XX:+UseG1GC` 和 `-XX:MaxGCPauseMillis` 是启用 G1 垃圾回收器和最大 GC 暂停时间,可以提高 GC 的效率。`-XX:+HeapDumpOnOutOfMemoryError` 是在内存溢出时产生堆转储文件,可以帮助排查问题。 以上是一些常见的 DolphinScheduler 性能调优方法,可以根据实际情况进行调整。

相关推荐

最新推荐

recommend-type

鼎利5G测试产品指导书-V20210416(快速上手,必看文档).pdf

1.3.4加密锁使用常见问题解决办法 1.3.5软狗回收 1.3.6软狗迁移 2 PIONEERTOOLS APP 2.1 PIONEERTOOLS 2.1.1L0G0 2.1.2安装 2.1.3升级 2.2 PIONEERTOOLS使用常见问题解决办法 2.2.1 PioneerTools授权状态一直是...
recommend-type

Flink实用教程_预览版_v1.pdf

最新Flink教程,基于Flink 1.13.2。书中所有示例和案例代码均为双语。...1.3.4 Flink 作业调度..........................................................................................................
recommend-type

新版Linux Shell编程实训(全)20170518.docx

1.3.4 关机/重启/退出 53 1.3.5 安装操作命令 53 1.3.6 用户操作命令 54 1.3.7 网络下载命令 55 1.3.8 服务操作命令 57 任务1.4 Shell脚本 58 1.4.1 第一个shell脚本:Hello World 58 1.4.2 脚本介绍 59 1.4.3 shell...
recommend-type

Kali使用手册.docx

1.3.4 谁打开了哪个文件? 14 1.3.5 挂载/卸载文件系统 15 1.4 网络 15 1.4.1 网络调试 15 1.4.2 路由 15 1.4.3 配置IP地址 16 1.4.4 变更MAC地址 16 1.4.5 端口 16 1.4.6 防火墙 17 1.4.7 IP路由转发 17 ...
recommend-type

使用Eclipse编译运行MapReduce程序.doc

该文档的目录如下: 1.1实验目的 1.2实验环境 V 1.3实验步骤 1.3.1安装eclipse ...1.3.4在Eclipse 中操作HDFS中的文件 1.3.5在Eclipse 中创建MapReduce项目 附:查看HDFS文件系统数据的三种方法
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

实现实时数据湖架构:Kafka与Hive集成

![实现实时数据湖架构:Kafka与Hive集成](https://img-blog.csdnimg.cn/img_convert/10eb2e6972b3b6086286fc64c0b3ee41.jpeg) # 1. 实时数据湖架构概述** 实时数据湖是一种现代数据管理架构,它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同,实时数据湖不依赖于预先定义的模式,而是采用灵活的架构,可以处理各种数据类型和格式。这种架构为企业提供了以下优势: - **实时洞察:**实时数据湖允许企业访问最新的数据,从而做出更明智的决策。 - **数据民主化:**实时数据湖使各种利益相关者都可
recommend-type

可见光定位LED及其供电硬件具体型号,广角镜头和探测器,实验设计具体流程步骤,

1. 可见光定位LED型号:一般可使用5mm或3mm的普通白色LED,也可以选择专门用于定位的LED,例如OSRAM公司的SFH 4715AS或Vishay公司的VLMU3500-385-120。 2. 供电硬件型号:可以使用常见的直流电源供电,也可以选择专门的LED驱动器,例如Meanwell公司的ELG-75-C或ELG-150-C系列。 3. 广角镜头和探测器型号:一般可采用广角透镜和CMOS摄像头或光电二极管探测器,例如Omron公司的B5W-LA或Murata公司的IRS-B210ST01。 4. 实验设计流程步骤: 1)确定实验目的和研究对象,例如车辆或机器人的定位和导航。
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。