hive group_sum

在Hive中，group_sum是指对某个字段进行分组，并计算该字段对应的另一个字段的总和。在引用\[1\]中的例子中，使用了SUM函数对COUNT字段进行求和，并按照uid字段进行分组。结果是每个uid对应的COUNT字段的总和。类似地，在引用\[2\]中的例子中，使用了count函数对user_id字段进行计数，并按照多个字段进行分组。最后的结果是每个分组中user_id的计数。在引用\[3\]中的例子中，使用了count函数对user_id字段进行计数，并使用rollup关键字实现了多级的统计。最后的结果是按照不同层次结构进行的聚合计数。
#### 引用[.reference_title]
- *1* *2* *3* [Hive Group By的实现原理](https://blog.csdn.net/lovedieya/article/details/107658067)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]

相关问题

hive ARRAY_CONTAINS

Hive的ARRAY_CONTAINS函数类似于SQL中的IN关键字操作。它用于判断一个数组中是否包含指定的一个或多个值。与IN不同的是，ARRAY_CONTAINS可以用于判断一张表中同一个id的多条记录中的同一字段是否包含指定的一个或多个值。需要注意的是，字段的类型需要保持一致，如果不一致，则需要进行强制类型转换。该函数在某些场景下非常实用，比如统计当天访问主页和商品详情页的次数（人数）。可以使用以下Hive查询语句实现：

select '2021-03-20' dt, 
       sum(if(array_contains(pages,'home'),1,0)) home_count, 
       sum(if(array_contains(pages,'good_detail'),1,0)) good_detail_count 
from (
    select mid_id, collect_set(page_id) pages 
    from dwd_page_log 
    where dt='2021-03-20' and page_id in ('home','good_detail') 
    group by mid_id
) tmp;

这个查询语句首先从`dwd_page_log`表中筛选出日期为'2021-03-20'，且页面ID为'home'或'good_detail'的记录。然后按照`mid_id`进行分组，使用`collect_set`函数将每个分组中的`page_id`收集到一个数组中。最后使用`array_contains`函数判断数组中是否包含指定的值，并使用`sum`和`if`函数进行统计。这样就可以得到当天访问主页和商品详情页的次数（人数）。

hive row_number() over()去重和group by的区别

`row_number() over()` 和 `group by` 都可以用于去除重复行，但它们的实现方式和作用范围有所不同。

`row_number() over()` 是一种窗口函数，它可以为每一行分配一个唯一的序号，序号的分配是基于指定的排序规则，如果有多行数据排序规则相同，则它们的序号也相同。通过使用 `row_number() over()` 函数并结合子查询，我们可以实现去重操作。例如，以下 SQL 语句可以获取表中每个不重复的 `name` 字段的第一行数据：

SELECT name, age, gender
FROM (
  SELECT name, age, gender, row_number() over (partition by name order by age) as rn
  FROM my_table
) t
WHERE rn = 1

`group by` 是一种聚合函数，它可以将表中的数据按照指定的字段分组，然后对每组数据执行聚合操作（例如 `count()`、`sum()`、`avg()` 等）。使用 `group by` 可以快速去除表中的重复行。例如，以下 SQL 语句可以获取表中每个不重复的 `name` 字段的第一行数据：

SELECT name, min(age), min(gender)
FROM my_table
GROUP BY name

总的来说，`row_number() over()` 适合于需要对数据进行排序和分组的场景，而 `group by` 则适合于需要对数据进行聚合操作的场景。