DataStage（ETL）技术总结 - CSDN文库

需积分: 12 131 浏览量更新于2023-03-16 评论 1 收藏 20KB DOCX 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

DataStage（ETL）技术总结

数据整合的核心内容是从数据源中抽取数据，然后对这些数据进行转化，最终

加载的目标数据库或者数据仓库中去，这也就是我们通常所说的 ETL 过程

(Extract,Transform, Load)。

IBM WebSphere DataStage（下面简称为 DataStage）为整个 ETL 过程提

供了一个图形化的开发环境,它是一套专门对多种操作数据源的数据抽取、转换

和维护过程进行简化和自动化，并将其输入数据集或数据仓库的集成工具。

通常数据抽取工作分抽取、清洗、转换、装载几个步骤:

抽取主要是针对各个业务系统及不同网点的分散数据，充分理解数据定义后，

规划需要的数据源及数据定义，制定可操作的数据源，制定增量抽取的定义。

清洗主要是针对系统的各个环节可能出现的数据二义性、重复、不完整、违反

业务规则等问题，允许通过试抽取，将有问题的纪录先剔除出来，根据实际情

况调整相应的清洗操作。

转换主要是针对数据仓库建立的模型，通过一系列的转换来实现将数据从业务

模型到分析模型，通过内建的库函数、自定义脚本或其他的扩展方式，实现了

各种复杂的转换，并且支持调试环境，清楚的监控数据转换的状态。

装载主要是将经过转换的数据装载到数据仓库里面，可以通过数据文件直接装

载或直连数据库的方式来进行数据装载，可以充分体现高效性。在应用的时候

可以随时调整数据抽取工作的运行方式，可以灵活的集成到其他管理系统中。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余7页未读，立即下载

评论0

ClaireWu_11

粉丝: 0
资源: 11

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈