spark sql udaf 案例

Spark SQL的User-Defined Aggregation Function (UDAF) 是一种用户自定义的聚合函数，它允许开发者扩展Spark SQL的内置聚合功能，以便于处理更复杂的业务逻辑。UDAF通常在数据预处理或复杂计算时使用，提供了比标准SQL函数更多的灵活性。

一个简单的UDAF案例可能是计算每个部门员工的平均工资。假设你有一个包含员工信息（如名字、部门和薪水）的表，标准的SQL可能无法直接提供按部门计算平均工资的功能。这时，你可以创建一个UDAF：

from pyspark.sql.functions import user_defined_function, col

# 定义一个UDAF函数
def avg_salary_per_dept(*args):
    total = 0
    count = 0
    for salary in args:
        total += salary
        count += 1
    return total / count if count > 0 else None  # 返回None处理空部门

avg_salary_udaf = user_defined_function(avg_salary_per_dept, returnType=types.DoubleType())

# 使用UDAF
employees_df.withColumn("avg_salary", avg_salary_udaf(col("salary"))) \
    .groupBy("department") \
    .agg(avg_salary_udaf("salary").alias("avg_salary_per_dept"))

在这个例子中，`avg_salary_per_dept`是一个接受多个参数（每个员工的薪水）的函数，计算并返回每个部门的平均薪水。然后，我们在Spark SQL查询中调用这个UDAF，并按部门分组。

相关问题--
1. UDAF与普通的聚合函数有何区别？
2. 在什么情况下会考虑使用UDAF？
3. 如何在Spark SQL中注册和使用自定义的UDAF？