row_number() over partition by怎么用于去重
时间: 2023-10-12 22:11:07 浏览: 82
row_number() over partition by不能直接用于去重,它是用于在分组内为每行分配一个唯一编号的窗口函数。要去重,可以使用distinct关键字或者group by子句。例如:
使用distinct关键字去重:
```
select distinct col1, col2, col3 from table1
```
使用group by子句去重:
```
select col1, col2, col3 from table1 group by col1, col2, col3
```
相关问题
hive中row_number over(partition by order by)
`row_number() over(partition by order by)`是Hive中的窗口函数,用于对查询结果进行分组和排序,并为每个分组中的行分配一个唯一的序号。其中,`partition by`用于指定分组的列,`order by`用于指定排序的列。
以下是一个示例,假设我们有一个名为`tmp_learning_mary`的表,其中包含`id`和`score`两列数据。我们想要按照`id`分组,并按照`score`从高到低排序,为每个分组中的行分配一个唯一的序号。可以使用以下语句:
```sql
select *, row_number() over(partition by id order by score desc) as ranking from tmp_learning_mary;
```
这将返回一个结果集,其中包含原始表中的所有列,以及一个名为`ranking`的新列,其中包含每个分组中的行的唯一序号。
如果我们想要在每个分组中随机选择一行,并为其分配一个唯一的序号,可以使用以下语句:
```sql
select * from (select *, row_number() over(partition by id order by rand()) as ranking from tmp_learning_mary) t where t.ranking = 1;
```
这将返回一个结果集,其中包含原始表中的所有列,以及一个名为`ranking`的新列,其中包含每个分组中随机选择的行的唯一序号。
row_number over (partition by a order by b desc)
以下是使用row_number() over(partition by name order by timestamp desc)的示例:
```sql
SELECT *, ROW_NUMBER() OVER(PARTITION BY name ORDER BY timestamp DESC) AS idx
FROM your_table_name;
```
这个示例中,ROW_NUMBER()函数根据name分区,并按照timestamp降序排列,为每个分区中的行分配一个唯一的行号。
阅读全文