Spark SQL函数之GROUP_CONCAT实现

GROUP_CONCAT函数是Spark SQL中用于将分组内的多个值连接成一个字符串的聚合函数。

在Spark SQL中，GROUP_CONCAT函数可以通过使用collect_list函数和concat_ws函数来实现。下面是一个示例：

import org.apache.spark.sql.functions.{collect_list, concat_ws}

val df = spark.createDataFrame(Seq(
  ("Alice", "Math"),
  ("Alice", "Physics"),
  ("Bob", "Chemistry"),
  ("Bob", "Physics"),
  ("Bob", "Biology")
)).toDF("name", "subject")

df.groupBy("name")
  .agg(concat_ws(", ", collect_list("subject")).as("subjects"))
  .show()

这个示例中，首先使用groupBy将数据按照姓名分组，然后使用collect_list函数将每个分组内的科目值收集到一个数组中。最后，使用concat_ws函数将数组中的值用逗号和空格连接成一个字符串，并将其命名为"subjects"。最终，调用show方法来展示结果。

执行上述代码后，将会得到如下结果：

+-----+-----------------+
| name|         subjects|
+-----+-----------------+
|Alice|     Math, Physics|
|  Bob|Chemistry, Physics, Biology|
+-----+-----------------+

这样就实现了GROUP_CONCAT函数的功能，将分组内的多个值连接成一个字符串。