Hive上向表里插入数据如何筛掉之前的表里的数据将新增数据插入进去，sql语句咋写

在Hive中，如果你想往一张表中添加新数据并过滤掉之前存在的重复记录，通常不会直接提供类似“更新”或“只插入新数据”的SQL命令，因为Hive的设计更倾向于批量处理大量数据而不是实时更新。Hive更适合于创建永久视图或加载全新的数据。

但是，你可以采取以下步骤：

1. **创建一个新的空表**：

   CREATE TABLE new_table LIKE original_table;

这会创建一个与原表结构相同的空表。

2. **清空目标表**：
如果你想确保新数据从零开始，可以先删除目标表的内容（这会保留表结构）：

   TRUNCATE TABLE new_table;

3. **INSERT INTO ... SELECT ...**：
使用这个语句把原表的数据插入到新的表中，同时利用`PARTITION BY`和`CLUSTER BY`（如果有的话）来避免重复数据插入：

   INSERT INTO TABLE new_table
   SELECT * FROM original_table
   WHERE NOT EXISTS (SELECT 1 FROM new_table WHERE key_column = original_table.key_column);

这里假设`key_column`是用于唯一标识一条记录的字段。

4. **最后同步分区或集群**：
如果数据按照分区或簇存储，别忘了手动同步这些分区分区或簇。

注意：上述操作需要谨慎，因为它会在目标表中插入所有原始表的新数据，而不会检查是否已有重复数据。如果需要基于某个条件插入新数据，你需要在`SELECT`子句中加入相应的逻辑。