spark自定义聚合函数如何忽略空值？

Spark中自定义聚合函数在处理数据时可以忽略空值。可以通过在自定义聚合函数中添加if语句来实现忽略空值，例如：

from pyspark.sql.functions import pandas_udf, PandasUDFType
import pandas as pd

@pandas_udf("float", PandasUDFType.GROUPED_AGG)
def custom_agg(col: pd.Series) -> float:
    return col.mean(skipna=True)

在上面的例子中，我们定义了一个返回float类型的自定义聚合函数`custom_agg`。其中，在`col.mean`函数中添加了`skipna=True`参数，表示忽略空值。

注意，当使用自定义聚合函数时，需要显式指定聚合操作的列。例如：

from pyspark.sql.functions import col

df.groupBy("group_col").agg(custom_agg(col("value_col")))