Azkaban Flow 2.0 使用指南

"Azkaban Flow 2.0 是Azkaban项目中推荐使用的任务调度方式，它提供了更高级别的流定义，使得用户能够在一个YAML文件中整合多个`job/properties`，并支持内嵌流（子流）的概念。Azkaban Flow 2.0的出现主要是为了替代即将被移除的Flow 1.0，以优化任务管理的便捷性和灵活性。" 在Azkaban Flow 2.0中，项目通常包含多个流定义YAML文件、一个项目YAML文件以及可能的库和源代码。每个Flow定义都在独立的YAML文件中，文件名与Flow的名称相对应，比如`my-flow-name.flow`。这些文件定义了Directed Acyclic Graph (DAG)中的节点，节点可以是单独的作业，也可以是其他Flow的嵌入。每个节点拥有包括`name`, `type`, `config`, `dependsOn`和`nodes`等在内的属性。 `config`部分用于存储与Flow相关的配置属性，之前在`properties`文件中的通用属性现在可以直接在Flow YAML文件的`config`部分中定义。例如，用户可以设置代理用户 (`user.to.proxy`) 和路径参数 (`param.hadoopOutData`, `param.inData`, `param.outData`)。 `nodes`部分包含了DAG中的所有节点定义。每个节点可以是作业（job）或者子流（flow），通过`dependsOn`属性来指定其依赖关系，列出其父节点，确保执行顺序。例如： ```yaml nodes: job1: type: command config: command: echo "Hello Job1" dependsOn: [] job2: type: command config: command: echo "Hello Job2" dependsOn: [job1] ``` 在这个例子中，`job2`依赖于`job1`，意味着`job1`会先执行，完成后才执行`job2`。 Azkaban Flow 2.0还支持内嵌流，这意味着可以在一个Flow中定义另一个Flow，增加了Flow之间的组合和复用性。这允许创建复杂的任务调度结构，使得大型工作流的管理和维护变得更加容易。 总结来说，Azkaban Flow 2.0的使用主要涉及到以下几个关键知识点： 1. YAML语法：Flow的定义采用YAML语言，简洁明了地描述了作业和子流的结构。 2. Flow定义：每个Flow都在单独的YAML文件中，文件名对应Flow的名称。 3. 节点属性：每个节点都有`name`, `type`, `config`, `dependsOn`等属性，用于定义作业或子流的特性及其依赖关系。 4. 配置迁移：通用属性从`properties`文件迁移到`config`部分，便于集中管理。 5. 内嵌流：Flow中可以定义其他Flow，实现任务的层次化组织。 理解并熟练应用这些知识点，可以帮助用户高效地构建和管理Azkaban中的任务调度流程。