2 DolphinScheduler

DolphinScheduler是一个分布式、易扩展的可视化工作流任务调度系统。它主要被用于处理复杂的数据任务工作流，如数据集成、数据处理、定时调度等场景。DolphinScheduler支持高可用、容错性、分布式任务调度等特点，用户可以通过图形化界面来设计、执行和监控任务流程。

DolphinScheduler的设计采用插件化架构，使得系统扩展性较好。它通常包括以下核心组件：

1. **Master Server**：负责整个调度系统的任务分发和调度管理。
2. **Worker Server**：执行具体的任务实例。
3. **API Server**：提供API接口，供用户操作任务和工作流。
4. **Alert Server**：用于告警通知。
5. **UI Console**：提供Web界面，用户可以通过它来操作调度系统。

DolphinScheduler支持多种任务类型，包括Shell脚本任务、Java类任务、Hadoop任务等，并提供了定时调度、任务依赖、日志管理、任务告警等丰富的功能。

相关问题

External provisioner is provisioning volume for claim "dolphinscheduler/dolphinscheduler-worker-logs-dolphinscheduler-worker-2"

这是一个 Kubernetes 集群的日志，说明 External provisioner 正在为名为 "dolphinscheduler-worker-logs-dolphinscheduler-worker-2" 的卷提供存储。External provisioner 是用于自动化创建外部存储卷并将其挂载到 Kubernetes 节点的工具。

dolphinscheduler工作流中的spark任务，jar包中的变量值，怎么通过dolphinscheduler配置

DolphinScheduler支持在任务的高级属性中配置Spark任务的参数，包括Spark任务的JAR包路径、主类、参数等。你可以在这里配置你的jar包中的变量值，然后在任务执行时通过参数传递给Spark任务。

具体步骤如下：

1. 在DolphinScheduler的工作流中，选择一个Spark任务，在其高级属性中配置JAR包路径、主类和参数。在参数中，您可以使用`${}`语法来引用变量。例如，假设您的jar包中包含一个参数`inputPath`，您可以在DolphinScheduler的参数中这样引用：`${inputPath}`。

2. 点击“保存”按钮保存更改。

3. 在工作流运行时，DolphinScheduler会将参数的值传递给Spark任务。在Spark任务中，您可以使用`args`数组来接收这些参数。例如，如果在DolphinScheduler中传递了`inputPath`参数，您可以在Spark任务中这样接收：

val inputPath = args(0)

注意：在DolphinScheduler中配置的参数将被传递给Spark任务的`args`数组中，以数字下标的形式按顺序存储。因此，如果您需要传递多个参数，必须确保它们在DolphinScheduler中的顺序与Spark任务中`args`数组中的顺序相同。

另外，如果您的jar包中包含了配置文件，您可以在DolphinScheduler的参数中配置配置文件的路径，并在Spark任务中使用这些配置文件来获取变量值。例如，您可以在DolphinScheduler中配置一个名为`configFile`的参数，其值为配置文件的路径，然后在Spark任务中使用`ConfigFactory.parseFile(new File(configFile))`来加载配置文件，并获取其中的变量值。