dolphinscheduler 3.0.1版本配置资源中心
时间: 2024-05-16 19:08:10 浏览: 172
1. 下载并安装Hadoop
下载Hadoop并解压缩到指定目录,配置Hadoop环境变量。
2. 下载并安装Zookeeper
下载Zookeeper并解压缩到指定目录,配置Zookeeper环境变量。
3. 下载并安装FastDFS
下载FastDFS并解压缩到指定目录,配置FastDFS环境变量。
4. 配置FastDFS
在FastDFS的安装目录下找到conf目录,将tracker.conf和storage.conf复制到另一个目录下作为配置文件。
修改tracker.conf和storage.conf配置文件中的IP地址和端口号。
启动tracker和storage服务:
进入FastDFS的安装目录,执行以下命令:
./trackerd /etc/fdfs/tracker.conf start
./storaged /etc/fdfs/storage.conf start
5. 配置dolphinscheduler
进入dolphinscheduler的安装目录,编辑conf/dolphinscheduler.properties文件。
配置资源中心相关属性:
```
# resource center properties
ds.resourcemanager.url=http://localhost:8032
ds.resourcemanager.scheduler.address=http://localhost:8030
ds.resourcemanager.webapp.address=http://localhost:8088
ds.resourcemanager.webapp.https.address=https://localhost:8090
ds.resourcemanager.principal=hadoop/_HOST@EXAMPLE.COM
ds.resourcemanager.keytab=/etc/security/keytabs/hdfs.headless.keytab
ds.resourcemanager.default.queue=root.default
ds.resourcemanager.fs.defaultFS=hdfs://localhost:9000
ds.fastdfs.tracker_servers=192.168.1.100:22122
ds.fastdfs.connect_timeout=5000
ds.fastdfs.network_timeout=30000
ds.fastdfs.charset=UTF-8
ds.fastdfs.http_anti_steal_token=false
ds.fastdfs.http_secret_key=FastDFS1234567890
ds.fastdfs.http_tracker_http_port=8080
ds.fastdfs.tracker_http_port=8080
ds.fastdfs.http_tracker_https_port=8081
ds.fastdfs.tracker_https_port=8081
```
其中:
- ds.resourcemanager.url:Hadoop的ResourceManager地址。
- ds.resourcemanager.scheduler.address:Hadoop的ResourceManager的scheduler地址。
- ds.resourcemanager.webapp.address:Hadoop的ResourceManager的webapp地址。
- ds.resourcemanager.webapp.https.address:Hadoop的ResourceManager的https地址。
- ds.resourcemanager.principal:Hadoop的ResourceManager的Kerberos principal。
- ds.resourcemanager.keytab:Hadoop的ResourceManager的Kerberos keytab文件路径。
- ds.resourcemanager.default.queue:Hadoop的ResourceManager的默认队列。
- ds.resourcemanager.fs.defaultFS:Hadoop的FileSystem的默认FileSystem。
- ds.fastdfs.tracker_servers:FastDFS的tracker服务器地址,多个地址用逗号分隔。
- ds.fastdfs.connect_timeout:FastDFS客户端连接超时时间,单位为毫秒。
- ds.fastdfs.network_timeout:FastDFS客户端网络超时时间,单位为毫秒。
- ds.fastdfs.charset:FastDFS客户端字符集。
- ds.fastdfs.http_anti_steal_token:FastDFS客户端是否开启防盗链。
- ds.fastdfs.http_secret_key:FastDFS客户端的secret_key。
- ds.fastdfs.http_tracker_http_port:FastDFS的tracker服务器的http端口。
- ds.fastdfs.tracker_http_port:FastDFS的tracker服务器的http端口。
- ds.fastdfs.http_tracker_https_port:FastDFS的tracker服务器的https端口。
- ds.fastdfs.tracker_https_port:FastDFS的tracker服务器的https端口。
6. 启动dolphinscheduler
进入dolphinscheduler的bin目录,执行以下命令:
./dolphinscheduler-daemon.sh start resourcemanager
启动成功后,可以访问http://localhost:12345/resourcemanager进行资源中心的管理。
阅读全文