pyspark中@udf的用法

在PySpark中，`@udf`是一个装饰器，全称为User Defined Function（用户自定义函数），它用于将Python函数转换为Spark SQL中的UDF，也就是可以作为DataFrame操作中的列表达式使用的函数。通过`@udf`，你可以定义一些复杂的业务逻辑，并将其应用到数据上，例如字符串处理、数学运算等。

以下是`@udf`的基本用法：

1. 首先，导入`pyspark.sql.functions`模块，这个模块包含了创建UDF的各种函数。
2. 定义一个普通的Python函数，这个函数通常接收DataFrame的一列或多列作为输入，并返回相应类型的输出。
3. 使用`F.udf()`函数将普通函数包装成UDF，指定输入和输出的数据类型。
4. 将生成的UDF应用到DataFrame的列上，比如直接对一列进行转换或者组合。

示例：

from pyspark.sql import SparkSession, functions as F

def custom_function(input_column):
    # 你的复杂业务逻辑
    return result

custom_udf = F.udf(custom_function, IntegerType())  # 如果你的函数返回整数
df.withColumn("new_column", custom_udf(df["input_column"]))