dolphinscheduler 配置资源中心
时间: 2023-09-20 08:07:53 浏览: 176
DolphinScheduler的资源中心是用于管理和分配任务所需的资源,如Hadoop、Hive、Spark等。以下是配置DolphinScheduler资源中心的步骤:
1. 在DolphinScheduler的conf目录下,找到resources.properties文件,并打开它。
2. 在文件中找到“resources.serverList”属性,该属性指定了资源中心的地址和端口。将其设置为资源中心所在的地址和端口号,如:resources.serverList=192.168.1.100:2181。
3. 如果资源中心使用了认证机制,则需要设置“resources.zkAuth”属性,并将其设置为认证信息。例如:resources.zkAuth=user:password。
4. 如果使用了Kerberos认证,则需要设置“resources.kerberos”属性,将其设置为“true”。并在“resources.zkPrincipal”和“resources.zkKeytab”属性中分别指定Kerberos的Principal和Keytab文件路径。
5. 保存文件后,重启DolphinScheduler服务。
6. 登录DolphinScheduler Web界面,在左侧导航栏中选择“资源管理”,可以看到资源中心中的所有资源。
7. 在任务配置中,可以选择需要的资源,DolphinScheduler会根据资源中心的配置进行资源分配和管理。
相关问题
dolphinscheduler 3.0.1版本配置资源中心
1. 下载并安装Hadoop
下载Hadoop并解压缩到指定目录,配置Hadoop环境变量。
2. 下载并安装Zookeeper
下载Zookeeper并解压缩到指定目录,配置Zookeeper环境变量。
3. 下载并安装FastDFS
下载FastDFS并解压缩到指定目录,配置FastDFS环境变量。
4. 配置FastDFS
在FastDFS的安装目录下找到conf目录,将tracker.conf和storage.conf复制到另一个目录下作为配置文件。
修改tracker.conf和storage.conf配置文件中的IP地址和端口号。
启动tracker和storage服务:
进入FastDFS的安装目录,执行以下命令:
./trackerd /etc/fdfs/tracker.conf start
./storaged /etc/fdfs/storage.conf start
5. 配置dolphinscheduler
进入dolphinscheduler的安装目录,编辑conf/dolphinscheduler.properties文件。
配置资源中心相关属性:
```
# resource center properties
ds.resourcemanager.url=http://localhost:8032
ds.resourcemanager.scheduler.address=http://localhost:8030
ds.resourcemanager.webapp.address=http://localhost:8088
ds.resourcemanager.webapp.https.address=https://localhost:8090
ds.resourcemanager.principal=hadoop/_HOST@EXAMPLE.COM
ds.resourcemanager.keytab=/etc/security/keytabs/hdfs.headless.keytab
ds.resourcemanager.default.queue=root.default
ds.resourcemanager.fs.defaultFS=hdfs://localhost:9000
ds.fastdfs.tracker_servers=192.168.1.100:22122
ds.fastdfs.connect_timeout=5000
ds.fastdfs.network_timeout=30000
ds.fastdfs.charset=UTF-8
ds.fastdfs.http_anti_steal_token=false
ds.fastdfs.http_secret_key=FastDFS1234567890
ds.fastdfs.http_tracker_http_port=8080
ds.fastdfs.tracker_http_port=8080
ds.fastdfs.http_tracker_https_port=8081
ds.fastdfs.tracker_https_port=8081
```
其中:
- ds.resourcemanager.url:Hadoop的ResourceManager地址。
- ds.resourcemanager.scheduler.address:Hadoop的ResourceManager的scheduler地址。
- ds.resourcemanager.webapp.address:Hadoop的ResourceManager的webapp地址。
- ds.resourcemanager.webapp.https.address:Hadoop的ResourceManager的https地址。
- ds.resourcemanager.principal:Hadoop的ResourceManager的Kerberos principal。
- ds.resourcemanager.keytab:Hadoop的ResourceManager的Kerberos keytab文件路径。
- ds.resourcemanager.default.queue:Hadoop的ResourceManager的默认队列。
- ds.resourcemanager.fs.defaultFS:Hadoop的FileSystem的默认FileSystem。
- ds.fastdfs.tracker_servers:FastDFS的tracker服务器地址,多个地址用逗号分隔。
- ds.fastdfs.connect_timeout:FastDFS客户端连接超时时间,单位为毫秒。
- ds.fastdfs.network_timeout:FastDFS客户端网络超时时间,单位为毫秒。
- ds.fastdfs.charset:FastDFS客户端字符集。
- ds.fastdfs.http_anti_steal_token:FastDFS客户端是否开启防盗链。
- ds.fastdfs.http_secret_key:FastDFS客户端的secret_key。
- ds.fastdfs.http_tracker_http_port:FastDFS的tracker服务器的http端口。
- ds.fastdfs.tracker_http_port:FastDFS的tracker服务器的http端口。
- ds.fastdfs.http_tracker_https_port:FastDFS的tracker服务器的https端口。
- ds.fastdfs.tracker_https_port:FastDFS的tracker服务器的https端口。
6. 启动dolphinscheduler
进入dolphinscheduler的bin目录,执行以下命令:
./dolphinscheduler-daemon.sh start resourcemanager
启动成功后,可以访问http://localhost:12345/resourcemanager进行资源中心的管理。
dolphinscheduler的资源中心配置,显示储存未开启,资源中心功能无法使用,需要如何配置
如果在DolphinScheduler中资源中心配置中显示储存未开启,并且资源中心功能无法使用,您可以按照以下步骤进行配置:
1. 打开DolphinScheduler的安装目录,找到`conf`文件夹。
2. 在`conf`文件夹中找到`dolphinscheduler.properties`文件,并使用文本编辑器打开。
3. 在`dolphinscheduler.properties`文件中,找到并编辑以下属性:
- 将`resource.storage.type`属性设置为`DB`,表示资源存储类型为数据库。
- 将`resource.storage.database`属性设置为您的数据库名称,例如`dolphinscheduler`。
- 将`resource.storage.database.url`属性设置为您的数据库连接URL,例如`jdbc:mysql://localhost:3306/dolphinscheduler?useSSL=false&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai`。根据您的数据库类型和配置进行相应修改。
- 将`resource.storage.database.username`属性设置为您的数据库用户名。
- 将`resource.storage.database.password`属性设置为您的数据库密码。
4. 保存并关闭`dolphinscheduler.properties`文件。
确保配置的数据库信息正确,并且DolphinScheduler能够访问到该数据库。然后,重新启动DolphinScheduler服务,资源中心的配置将生效。
通过以上步骤,您应该能够正确配置DolphinScheduler的资源中心,并解决资源中心功能无法使用的问题。
阅读全文