抽取shtd_store库中sku_info的增量数据进入Hive的ods库中表sku_info。根据ods.sku_info表中create_time作为增量字段,只将新增的数据抽入,字段名称、类型不变,同时添加静态分区,分区字段类型为String,且值为当前日期的前一天日期(分区字段格式为yyyyMMdd)
时间: 2023-05-30 11:02:52 浏览: 245
全国职业技能大赛大数据赛项十套赛题(shtd)
INSERT INTO TABLE ods.sku_info PARTITION(dt='20220101')
SELECT *
FROM shtd_store.sku_info
WHERE create_time >= '2022-01-01';
其中,分区字段值为当前日期的前一天,需要使用Hive函数进行计算:
INSERT INTO TABLE ods.sku_info PARTITION(dt=from_unixtime(unix_timestamp()-86400,'yyyyMMdd'))
SELECT *
FROM shtd_store.sku_info
WHERE create_time >= '2022-01-01';
这样可以将shtd_store库中create_time大于等于2022-01-01的sku_info数据抽取到ods库中的sku_info表中,并且添加了静态分区,分区字段为当前日期的前一天日期。
阅读全文