1 设计思路及原则概述
1.1 ETL 升级
1.1.1 总体功能描述
ETL 升级一方面采用元数据驱动 ETL 的方式,通过配置元数据驱动 ETL;另
一方面,在 ETL 调度控制方面,采用结合数据质量校验的 ETL 调度。
在 ETL 实施中,实施流程如下:
第一步:当业务逻辑发生变更,会将变更情况发送到 ETL 实施人员;
第二步:ETL 实施人员根据业务逻辑变更内容配置 ETL 元数据;操作 ETL
JOB 生成装置生成 ETL JOB;配置 ETL 调度,生成调度视图;
第三步:结合数据质量校验的 ETL 调度装置通过由 ETL 元数据生成的 ETL
JOB 和调度视图执行结合数据质量校验的 ETL 调度;
第一步和第二步构成以元数据驱动的方式实现 ETL,第三部的 ETL 调度装置
执行结合数据质量校验的 ETL 调度。
如下图所示: