dolphinscheduler 配置sparksql数据源
时间: 2023-09-20 11:08:56 浏览: 232
1. 配置SparkSQL数据源
在DolphinScheduler的web管理页面中,点击左侧的“数据源”菜单,然后点击“新增”按钮,在弹出的页面中选择“SparkSQL”数据源类型,填写相关配置信息,如下图所示:
![image.png](https://cdn.nlark.com/yuque/0/2022/png/215728/1644455710852-7e500e9c-7d03-453b-9d7e-17b1c7e8510d.png#clientId=u7f8b614c-2d08-4&from=paste&id=ua1e4f4e4&margin=%5Bobject%20Object%5D&originHeight=1184&originWidth=2542&originalType=binary&ratio=1&status=done&style=none&taskId=u6d5f7a55-6a8e-4dcd-9d3a-3a6f4b6a4b6)
其中,配置信息的具体含义如下:
- 数据源名称:自定义数据源的名称,例如“SparkSQL”;
- 数据源类型:选择“SparkSQL”;
- JDBC URL:填写SparkSQL连接的JDBC URL,例如“jdbc:spark://localhost:7077”;
- 用户名:填写SparkSQL连接的用户名,例如“root”;
- 密码:填写SparkSQL连接的密码,例如“123456”。
2. 测试SparkSQL数据源
配置完成后,点击“测试连接”按钮,测试数据源是否能够连接成功。如果连接成功,则会出现“连接成功”的提示信息;如果连接失败,则会出现“连接失败”的提示信息。
3. 在任务中使用SparkSQL数据源
在DolphinScheduler的web管理页面中,点击左侧的“任务”菜单,然后点击“新增”按钮,在弹出的页面中选择要创建的任务类型(例如“SQL”任务),然后填写任务相关信息,如下图所示:
![image.png](https://cdn.nlark.com/yuque/0/2022/png/215728/1644455731711-6558c0b9-7a63-4f1f-aa8a-08e2d63c94f6.png#clientId=u7f8b614c-2d08-4&from=paste&id=udbcb1c3d&margin=%5Bobject%20Object%5D&originHeight=1184&originWidth=2542&originalType=binary&ratio=1&status=done&style=none&taskId=u9f7a46d1-1f7a-4aa2-8d45-71e84d7c1a9)
其中,配置信息的具体含义如下:
- 任务名称:自定义任务的名称,例如“SparkSQL任务”;
- 任务类型:选择要创建的任务类型,例如“SQL”任务;
- 数据源类型:选择“SparkSQL”;
- SQL语句:填写要执行的SQL语句,例如“select * from table”;
- 运行参数:填写任务的运行参数,例如“--executor-memory 512m”。
配置完成后,点击“保存”按钮,保存任务信息。然后,点击“运行”按钮,运行任务。如果任务能够正常运行,则会出现“运行成功”的提示信息;如果任务运行失败,则会出现“运行失败”的提示信息。
阅读全文