hive row_number() over()去重
时间: 2023-04-24 10:06:20 浏览: 167
SQL中的ROW NUMBER() OVER()
在 Hive 中,你可以使用 `row_number() over()` 函数来去重。
语法如下:
```
select distinct *
from (
select *,
row_number() over (partition by column_1, column_2 order by column_3) as row_num
from table_name
) temp
where row_num = 1;
```
其中 `column_1`, `column_2`, `column_3` 是要去重的列,你可以根据需要选择。这样,`row_number() over()` 函数会给重复的行打上唯一的编号,然后选择 `row_num = 1` 的行,就能得到去重后的结果。
阅读全文