Kettle 3.2 使用手册:资源库与核心对象解析

5星 · 超过95%的资源 需积分: 33 1.8k 下载量 116 浏览量 更新于2024-07-29 42 收藏 5.27MB PDF 举报
"这份资源是Kettle(Spoon)的详细使用教程,以pdf格式提供,对于学习和理解Kettle的各个功能非常有帮助。教程涵盖了从基础的资源库管理到复杂的转换和作业操作,以及各种输入步骤的使用方法。" Kettle(Spoon)是一个开源的数据集成工具,其主要功能是进行ETL(提取、转换、加载)操作。教程首先从概述开始,介绍了Kettle的基本概念和资源库管理。资源库是Kettle中存储所有元数据的地方,包括转换、作业、数据库连接等。教程详细讲解了如何新建、更新资源库,以及如何进行资源库的登录和用户管理,这对于团队协作和版本控制至关重要。 在菜单栏介绍部分,教程列出了所有主要菜单的功能,如“文件”用于打开、保存和导出工作;“编辑”允许用户修改元数据;“视图”可以定制工作区显示;“资源库”菜单与资源库操作相关;“转换”和“作业”用于创建和管理ETL过程;“向导”提供了创建新转换和作业的快速路径;“帮助”提供使用指南;“变量”则涉及Kettle中的不同变量类型及其使用方法,包括环境变量、Kettle变量和内部变量。 工具栏部分,教程分别阐述了转换Transformation工具栏和工作Jobs工具栏,这些工具栏提供了快捷操作,方便用户快速访问和操作转换和作业。 主对象树是Kettle工作界面的核心,包含了所有的转换和作业元素。转换主对象树包含新建转换、设置、DB连接、步骤、节点连接等,每个部分都有详细的解释,例如如何新建和编辑步骤,以及如何处理节点连接。作业主对象树同样包括新建作业、设置、DB连接和作业项目,支持构建复杂的作业流程。 转换核心对象是教程的重点,详细介绍了各种Transforms,包括输入、输出和其他特殊类型的步骤。比如AccessInput用于读取Access数据库,CSVFileInput用于处理CSV文件,ExcelInput用于处理Excel数据,还有生成随机值、获取文件名、从XML中提取数据等多种输入步骤,适应不同的数据源和处理需求。 这个Kettle(Spoon)教程全面深入地讲解了如何使用Kettle进行数据处理,无论你是初学者还是经验丰富的用户,都能从中获益良多,提高你的数据集成能力。通过学习和实践,你可以掌握从数据源的接入、数据清洗、转换到最终加载到目标系统的全过程。
2022-12-25 上传
Kettle工具使用 培训教程 目录 ETL 简介 KETTLE 简介 KETTLE 安装和运行 KETTLE 菜单简介 KETTLE 案例讲解 控件介绍 日志介绍 一、ETL 简介 ETL 概念简介 ETL相关的质量特性 ETL 在数据仓库项目中的位置 二、kettle 工具简介 Kettle是一款国外开源的ETL工具, 纯java编写,可以在Window、 Linux、Unix上运行,数据抽取高效 稳定 Kettle中有两种脚本文件, transformation(转换)和job (作业),transformation完成 针对数据的基础转换,job则完 成整个工作流的控制。 Kettle 工具的模型架构 kettle 工具的优缺点 优点: 系统开源、免费 安装方便、图形化安装 支持多种数据源 支持多种字符集 具有简单的权限管理 支持各种复杂数据转换 缺点 稳定性差 性能差 缺乏元数据管理 KETTLE 的下载 Kettle可以在 http://kettle.pentaho.org/网站下载 下载kettle压缩包,因kettle为绿色软 件,解压缩到任意本地路径即可 Kettle 运行步骤 双击运行 kettle 文件夹下的 Kettle 文件,出 现 kettle 欢迎界面。 创建资料库(可省略) 创建数据库连接 创建转换 创建Jobs,进行流程化控制 KETTLE 的使用 进入到Kettle目录,如果Kettle部署在windows环 境下,双击运行spoon.bat文件,出现如下界面: Kettle 使用步骤 (1)创建转换 大概的来说一般由三步组成: 输入+转换等中间步骤+输出 (2)创建作业 将已经创建好的转换和相关的作业组件串联起来, 形成一个整体的任务。 Kettle 的执行顺序 作业:分串行执行和并行执行,串行执行是先执行完其中一条线再执 行另一条线,并行是两条线同时执行,同一条线上的两个步聚会先执 行前面的再执行后面的。每个步骤执行结果分两种:true(成 功)/false(失败),根据返回结果可以控制流程走向。 转换:一开始所有步骤同时运行,记录会从最前端的步骤向后传递, 传递到相应步骤则该记录被该步骤作相应处理,处理完成再把记录往 后传递,记录传递分复制和分发两种模式。 KETTLE 的目录介绍 根目录文件夹介绍: 【Docs】存放Kettle各种语言版本的API文档。 【 Launcher 】存放Kettle Spoon加载的一些配置信息。 【 Lib 】存放Kettle所使用到的第三方jar包。比如:数据库驱动包, 如缺少时需要把对应的数据库驱动包放入此文件夹中。 【 Libswt 】存放Kettle对应不同平台的相关UI jar包。 【 Plugins 】存放Kettle自定义插件时,需要把自定义好的插件打成 jar放在此目录。 【 Pwd 】存放Kettle配置集群时所需要的配置文件与加密文件。 【 Samples 】存放Kettle自带的一些Job与Trans实例。 【 Simple-jndi 】存放Kettle使用JNDI方式连接数据源方式的文件 存放目录。目录下的jdbc.properties配置文件中有相应的实例提供 参考。 【 Ui 】存放Kettle初始化使用到的图片及配置信息。 Kettle 菜单介绍-transformation Main Tree菜单列出的是一个 transformation中基本的属性, 可以通过各个节点来查看。 DB连接:显示当前transformation 中的数据库连接,每一个 transformation的数据库连接都需要 单独配置。 Steps:一个transformation中应用 到的环节列表 Hops:一个transformation中应用 到的节点连接列表 转换的菜单介绍: Kettle 菜单介绍-transformation Core Objects菜单列出的是 transformation中可以调用 的环节列表,可以通过鼠标 拖动的方式对环节进行添加。 Input:输入环节 Output:输出环节 Lookup:查询环节 Transform:转化环节 Joins:连接环节 Scripting:脚本环节 转换的菜单介绍: Kettle 菜单介绍-transformation 每一个环节可以通过鼠标拖动来将环节添加到主窗 口中。 并可通过shift+鼠标拖动,实现环节之间的连接。 Kettle 菜单介绍-transformation 转换的常用环节介绍: Kettle 菜单介绍-job Main Tree菜单列出的是一 个Job中基本的属性,可以 通过各个节点来查看。 DB连接:显示当前Job中的数据 库连接,每一个Job的数据库连接 都