hive 对一个字段做group by 聚合 不能去重吗
时间: 2023-07-31 21:06:33 浏览: 108
大数据实验六实验报告:熟悉Hive的基本操作
5星 · 资源好评率100%
在 Hive 中,对一个字段进行 GROUP BY 聚合操作,可以将相同的键值放在一起,并对每组记录进行聚合操作。虽然 GROUP BY 不能直接去重,但是可以通过将聚合操作设置为 COUNT(DISTINCT col) 的方式实现对该字段的去重操作。例如,假设需要对字段 col 进行去重,可以使用以下语句:
```
SELECT COUNT(DISTINCT col) FROM table GROUP BY col;
```
上述语句会将相同的 col 值放在一起,并对每组记录进行 DISTINCT 操作,最后统计每组记录的数量。由于 COUNT(DISTINCT col) 会忽略相同的 col 值,因此可以实现对该字段的去重操作。
阅读全文