hive数据库去重

在Hive中进行去重可以使用DISTINCT关键字来去除重复记录。例如，假设我们有一个名为my_table的表，包含以下数据：

| id | name |
|----|------|
| 1 | John |
| 2 | Jane |
| 3 | John |
| 4 | Mary |

我们可以使用以下查询来去重：

SELECT DISTINCT id, name FROM my_table;

这将返回以下结果：

| id | name |
|----|------|
| 1 | John |
| 2 | Jane |
| 4 | Mary |

注意，DISTINCT关键字将返回唯一的记录，因此我们只能选择要去重的列。在这个例子中，我们选择了id和name列，因此只有id为1、2和4的记录被返回，而重复的id为3的记录被去除了。