kettle出错重跑
时间: 2023-08-12 13:07:12 浏览: 144
在Kettle中,当执行insert/update操作时,如果某些行数据出错,可以通过配置错误流来处理。错误流会流向"增加常量"步骤,其中errnum表示有几行错误了,errdesc表示错误描述,errname是错误列的列名,errcode表示错误码,指明错误的类型。[1]
如果你遇到Kettle出错后需要重跑的情况,可以尝试以下操作:
1. 检查你的success.bat文件是否正确配置。确保文件中包含了你想要执行的命令,并且没有中文或空格。
2. 检查文件夹名字和success.bat文件中的中文名字和空格。如果有中文或空格,尝试将其更改为英文或去除空格。
3. 确保.kjb文件中的转换.ktr路径也已经更新为正确的路径。
4. 如果在执行任务时一直卡在spoon-spoon那里,尝试取消勾选重复选项,并选择非定时类型。然后重启spoon.bat手动运行即可。[3]
通过以上操作,你应该能够解决Kettle出错后需要重跑的问题。希望对你有帮助!
相关问题
kettle实现循环跑批
Kettle是一款强大的数据集成工具,也可以用于实现循环跑批。在Kettle中,我们可以通过使用Transformation Job Steps来实现循环跑批。下面是实现步骤:
1. 准备数据源:为了实现循环跑批,我们需要先准备好数据源,比如数据库中的表或者文件夹中的文件。
2. 创建Transformation:在Kettle中创建一个Transformation作为主程序,用于控制数据批处理的流程。在Transformation中,我们需要完成数据的抽取、转换、加载等过程。
3. 创建Job:创建一个Job用于控制Transformation的执行顺序,以及进行循环。我们可以使用“循环控制”步骤,设置循环次数及循环条件,也可以设置在前一次循环结束后,再次开始下一次循环。
4. 创建转换/任务循环步骤: 我们需要在Job中添加“转化循环”或“任务循环”步骤,在这个步骤中,我们可以指定需要循环的转换或任务,修改他们的参数,以及设置循环次数。在每个循环周期结束后,步骤会自动调用转换或任务进行处理,直到循环次数或者循环条件不满足时停止。
5. 运行Job:设置好循环的参数和条件之后,我们可以直接在Kettle中运行Job,并实时查看运行日志。通过查看日志,我们可以了解每个循环周期的处理情况,如出错等异常情况。
总之,通过使用Kettle中的Transformation Job Steps,我们可以快速实现数据批处理的循环跑批,提高数据处理的效率和准确性。
利用kettle 分组做数据排重
1. 首先,使用Kettle连接到数据源,并将数据源中的数据加载到Kettle中。可以通过使用“Table Input”步骤来读取数据源中的数据。
2. 为了排重,需要将数据按照指定的字段进行分组。可以使用“Group by”步骤来对数据进行分组。在“Group by”步骤中,选择要分组的字段,并指定如何聚合非分组字段的值。
3. 接下来,使用“Unique Rows”步骤来去除重复的行。在“Unique Rows”步骤中,选择要去重的字段,并指定如何处理重复的行。
4. 最后,将去重后的数据保存到目标数据源中。可以使用“Table Output”步骤将数据保存到数据库中,或者使用“Text File Output”步骤将数据保存到文本文件中。
总结:使用Kettle进行数据排重可以通过“Group by”和“Unique Rows”步骤来实现。通过这些步骤,可以方便地对数据进行分组和去重,并将结果保存到目标数据源中。
阅读全文