编写 Scala 工程代码,将 MySQL 库中表 table1 的数据增量抽取到 Hive 的 ods 库中 对应表 table1 中。 抽取库中 table1 的增量数据进入 Hive 的 ods 库中表 table1。根据 ods.table1 表 中 modified_time 作为增量字段,只将新增的数据抽入,字段名称、类型不变,同 时添加静态分区,分区字段为 etl_date,类型为 String,且值为当前比赛日的前一 天日期(分区字段格式为 yyyyMMdd)。使用 hive cli 执行 show partitions ods.table1 命令,
时间: 2023-03-08 15:26:17 浏览: 216
asn1-ber:Scala 中的 ASN.1 基本编码规则库
如果确认分区已添加,可以使用 Scala 编写程序从 MySQL 库中查询 modified_time 字段大于 ods.table1 分区中 modified_time 字段最大值的数据,并将查询结果集插入到 ods.table1 分区中。
阅读全文