、 抽取shtd_store库中sku_info的增量数据进入Mysql的ods库中表sku_info。根据ods.base_province表中create_time作为增量字段,只将新增的数据抽入,字段不变、类型不变,同时添加字段为etl_date类型为String,且值为当前日期的前一天日期(字段格式为yyyyMMdd
时间: 2024-02-24 18:57:46 浏览: 80
全国职业技能大赛大数据赛项十套赛题(shtd)
这里提供一种基于MySQL的增量抽取方案,供您参考:
1. 首先在MySQL中创建ods库和sku_info表,以及base_province表(如果还没有):
```sql
CREATE DATABASE IF NOT EXISTS ods;
USE ods;
CREATE TABLE IF NOT EXISTS sku_info (
id INT(11) NOT NULL AUTO_INCREMENT,
sku_id INT(11) NOT NULL,
sku_name VARCHAR(255) NOT NULL,
create_time TIMESTAMP NOT NULL,
etl_date VARCHAR(8) NOT NULL,
PRIMARY KEY (id)
);
CREATE TABLE IF NOT EXISTS base_province (
id INT(11) NOT NULL AUTO_INCREMENT,
province_id INT(11) NOT NULL,
province_name VARCHAR(255) NOT NULL,
create_time TIMESTAMP NOT NULL,
PRIMARY KEY (id)
);
```
2. 假设您已经使用binlog或其他增量抽取工具抽取了shtd_store库中sku_info表的增量数据,并存储为一个增量数据文件incremental_sku_info.csv。
3. 使用以下命令将增量数据文件导入到一个临时表temp_sku_info中:
```sql
USE ods;
CREATE TABLE IF NOT EXISTS temp_sku_info (
sku_id INT(11) NOT NULL,
sku_name VARCHAR(255) NOT NULL,
create_time TIMESTAMP NOT NULL
);
LOAD DATA INFILE '/path/to/incremental_sku_info.csv' INTO TABLE temp_sku_info
FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n';
```
4. 使用以下命令将temp_sku_info表中新增的数据插入到sku_info表中,并为etl_date字段赋值为当前日期的前一天日期:
```sql
INSERT INTO sku_info (sku_id, sku_name, create_time, etl_date)
SELECT t.sku_id, t.sku_name, t.create_time, DATE_FORMAT(NOW() - INTERVAL 1 DAY, '%Y%m%d')
FROM temp_sku_info t
WHERE NOT EXISTS (
SELECT 1 FROM sku_info s WHERE s.sku_id = t.sku_id AND s.create_time = t.create_time
);
```
5. 使用以下命令查询sku_info表中的etl_date字段的不同值,即为抽取的日期:
```sql
SELECT DISTINCT etl_date FROM sku_info;
```
6. 将查询结果截图,并将代码粘贴至下面。
以上是一种基于MySQL的增量抽取方案,您可以根据自己的实际情况进行调整和优化。
阅读全文