Hive上当第一次跑批insert into take select I'd,name from tables；当下次跑批是如何筛选出重复的数据插入新的数据

在Hive中，如果你想在首次运行`INSERT INTO`时从`tables`表中选择`I'd`和`name`字段，而在后续批次中仅插入尚未存在的重复数据（即新数据），你需要做以下几个步骤：

1. 首次插入时，直接从`tables`表中选取数据并插入到目标表：

   INSERT INTO TABLE target_table
   SELECT I'd, name
   FROM tables;

2. 然后，为了在后续批次中插入唯一的数据，可以在下次跑批前先检查是否存在重复。为此，可以创建一个临时视图（假设结果集较小适合内存处理），并用`ROW_NUMBER()`窗口函数标记每行是否为重复项：

   CREATE TEMPORARY VIEW duplicate_rows AS
   SELECT I'd, name, ROW_NUMBER() OVER(PARTITION BY I'd, name ORDER BY I'd) as row_num
   FROM target_table;

3. 检查是否存在重复数据，然后仅选择行号大于1的数据（因为`row_num`为1的是第一条记录，不会重复插入）：

   INSERT INTO TABLE target_table
   SELECT I'd, name
   FROM duplicate_rows dr
   WHERE dr.row_num > 1;

4. 清理临时视图：

   DROP VIEW duplicate_rows;