spark Sql自定义 udaf 求平均值

以下是使用Spark SQL自定义UDAF求平均值的示例代码：

from pyspark.sql.functions import pandas_udf, PandasUDFType
from pyspark.sql.types import DoubleType
import pandas as pd

# 定义自定义UDAF函数
@pandas_udf(DoubleType(), PandasUDFType.GROUPED_AGG)
def my_avg_udaf(v: pd.Series) -> float:
    return v.mean()

# 使用自定义UDAF函数求平均值
df.groupBy("group_id").agg(my_avg_udaf(df["value"]).alias("avg_value")).show()

其中，`df`是一个DataFrame对象，包含两列数据：`group_id`和`value`。首先，我们使用`groupBy`方法按照`group_id`进行分组，然后使用`agg`方法调用自定义UDAF函数`my_avg_udaf`，并将结果命名为`avg_value`。最后，使用`show`方法展示结果。