开源ETL工具kettle系列之常见问题 - CSDN文库

开源ETL工具kettle系列之常见问题

需积分: 47 96 浏览量更新于2023-03-03 评论收藏 53KB DOC 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

开源 ETL 工具 kettle 系列之常见问题

阅读次数: 499 次发布时间: 2008-10-09 18:21:22 发布人: 网络转载

来源: 网络转载

摘要：本文主要介绍使用 kettle 设计一些 ETL 任务时一些常见问题，这些问题大部分都不在官方 FAQ 上，

你可以在 kettle 的论坛上找到一些问题的答案

1.Join

我得到 A 数据流（不管是基于文件或数据库），A 包含 eld1 , eld2 , eld3 字段，然后我还有一个 B

数据流，B 包含 eld4 , eld5 , eld6 , 我现在想把它们 ‘加’ 起来, 应该怎么样做.

这是新手最容易犯错的一个地方，A 数据流跟 B 数据流能够 Join，肯定是它们包含 join key ,join key 可

以是一个字段也可以是多个字段。如果两个数据流没有 join key ,那么它们就是在做笛卡尔积，一般很少

会这样。比如你现在需要列出一个员工的姓名和他所在部门的姓名，如果这是在同一个数据库，大家都知

道会在一个 sql 里面加上 where 限定条件，但是如果员工表和部门表在两个不同的数据流里面，尤其是

数据源的来源是多个数据库的情况，我们一般是要使用 Database Join 操作，然后用两个 database

table input 来表示输入流，一个输入是部门表的姓名，另一个是员工表的姓名，然后我们认为这两个表

就可以 ”Join” 了，我们需要的输出的确是这两个字段，但是这两个字段的输出并不代表只需要这两个字

段的输入，它们之间肯定是需要一个约束关系存在的。另外，无论是在做 Join , Merge , Update ,

Delete 这些常规操作的时候，都是先需要做一个 compare 操作的，这个 compare 操作都是针对

compare key 的，无论两个表结构是不是一样的，比如 employee 表和 department 表，它们比较的

依据就是 employee 的外键 department_id , 没有这个 compare key 这两个表是不可能连接的起来

的.. 对于两个表可能还有人知道是直接 sql 来做连接，如果是多个输入数据源，然后是三个表，有人就开

始迷茫了，A 表一个字段，B 表一个字段，C 表一个字段，然后就连 Join 操作都没有，直接 database

table output , 然后开始报错，报完错就到处找高手问，他们的数据库原理老师已经在吐血了。如果是三

个表连接，一个 sql 不能搞定，就需要先两个表两个表的连接，通过两次 compare key 连接之后得到你

的输出，记住，你的输出并不能代表你的输入. 下面总结一下:

1.单数据源输入，直接用 sql 做连接

2.多数据源输入，（可能是文本或是两个以上源数据库），用 database join 操作.

3.三个表以上的多字段输出.

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余5页未读，立即下载

评论0

萨普ERP讲堂

粉丝: 3
资源: 25

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈