如何删除hive表中重复数据

在Hive中删除表中的重复数据，通常通过创建聚集索引并使用`DISTINCT`关键字或者自连接查询结合`GROUP BY`和`HAVING`来实现。以下是两种常见的方式：

1. 使用DISTINCT关键字创建新表：

CREATE TABLE new_table AS
SELECT DISTINCT * FROM original_table;

DROP TABLE original_table;
RENAME TABLE new_table TO original_table;

这会创建一个新的表，其中只包含`original_table`中唯一的行，然后替换原表。

2. 自连接删除重复项：

CREATE TABLE temp_table AS
FROM original_table t1
JOIN original_table t2 ON t1.column_name = t2.column_name AND t1.row_id < t2.row_id
WHERE t1.row_id = t2.row_id;

INSERT INTO original_table SELECT * FROM temp_table;
TRUNCATE TABLE temp_table;

-- 如果原始表非常大，可以分批处理

这里假设`column_name`是用于识别重复的关键字段，并且`row_id`是一个行的唯一标识符。这个查询首先找出所有重复的行，然后逐条插入到原始表中，最后清空临时表。