Spark SQL深度解析：常用聚合函数详解

聚合函数在Spark SQL中是数据分析的核心工具，它们用于对数据集进行汇总，提供关于数据集整体情况的概览。在本篇文章中，我们将深入探讨Spark SQL中的常用聚合函数，包括简单聚合、分组聚合以及一些高级用法。 ## 一、简单聚合 ### 1.1 数据准备 在进行任何聚合操作之前，首先需要有一个数据集。通常，我们可以从不同的数据源加载数据，然后创建DataFrame或DataSet对象来处理。 ### 1.2 count `count()` 函数返回一个数据集中行的数量，不考虑列的值。它是最基础的计数操作。 ### 1.3 countDistinct `countDistinct()` 计算指定列中不同值的数量。例如，如果数据集中包含用户ID，可以计算有多少个独特的用户。 ### 1.4 approx_count_distinct `approx_count_distinct()` 是一个近似版本的`countDistinct()`, 用于快速计算大致的唯一值数量，适用于大数据集，牺牲精确性以换取更高的性能。 ### 1.5 first & last `first()` 和 `last()` 分别返回指定列的第一个和最后一个非null值。这些函数在处理时间序列数据时特别有用。 ### 1.6 min & max `min()` 和 `max()` 用于找出数据集中某一列的最小和最大值，常用于找出数值范围或者时间范围。 ### 1.7 sum & sumDistinct `sum()` 对指定列的所有非null值求和，而 `sumDistinct()` 只对唯一的非null值求和。 ### 1.8 avg `avg()` 或 `mean()` 返回指定列的平均值，它先计算总和再除以非null值的数量。 ### 1.9 数学函数 除了基本的聚合函数外，Spark SQL还提供了各种数学函数，如 `sqrt()`（平方根），`pow(a, b)`（a的b次方），`abs()`（绝对值）等，可以用于更复杂的计算。 ### 1.10 聚合数据到集合 聚合函数可以将数据聚合到集合类型，如`collect_list()` 和 `collect_set()`，这两个函数分别收集列中的所有值形成列表（允许重复）和集合（不允许重复）。 ## 二、分组 分组操作允许我们按一组列的值对数据进行聚合，使用 `groupByKey()` 或 `groupBy()` 函数。例如，如果我们想按性别分组并计算每个性别的用户数量，可以使用 `groupBy("gender").count()`。 ### 2.1 Group By + Aggregation 通过`groupBy()`配合聚合函数，可以实现多列分组和多级聚合。例如，`groupBy("year", "month").sum("sales")`将按照年和月分组，并计算每个组的销售总额。 ### 2.2 Having `having()` 函数类似于SQL中的`WHERE`，但它是应用于聚合后的结果，用于过滤满足特定条件的分组。 ### 2.3 Order By `orderBy()` 用于对分组后的结果进行排序，可以指定升序（`asc`）或降序（`desc`）。 ## 三、窗口函数 窗口函数允许我们在同一行集的不同子集（窗口）上执行聚合操作，这在处理时间序列数据或计算排名时非常有用。例如，`row_number()`，`rank()` 和 `dense_rank()` 可以用于生成行号，`lead()` 和 `lag()` 提供前/后一行的值。 Spark SQL的聚合函数提供了强大的分析能力，结合分组、窗口函数以及其他高级特性，使得大数据处理变得更加高效和便捷。无论是在数据探索、报告生成还是业务分析中，都能发挥重要作用。