抽取库中 table1 的增量数据进入 Hive 的 ods 库中表 table1。根据 ods.table1 表 中 modified_time 作为增量字段,只将新增的数据抽入,字段名称、类型不变,同 时添加静态分区,分区字段为 etl_date,类型为 String,且值为当前比赛日的前一 天日期(分区字段格式为 yyyyMMdd)。使用 hive cli 执行 show partitions ods.table1 命令,将执行结果截图粘贴至对应报告中
时间: 2023-03-10 09:25:24 浏览: 542
Hive的分区表
5星 · 资源好评率100%
首先,使用hive cli执行insert into ods.table1 select * from table1 where modified_time > 上次抽取的最大modified_time;然后,使用alter table ods.table1 add partition (etl_date='yyyyMMdd') location '/user/hive/warehouse/ods.db/table1/etl_date=yyyyMMdd';最后,使用show partitions ods.table1命令查看添加的分区,并将执行结果截图粘贴至对应报告中。
阅读全文