Spark SQL 自定义函数（Scala）

Spark SQL 提供了自定义函数（User Defined Functions, UDFs）的功能，允许用户编写 Scala 函数并在 SQL 查询中直接使用。自定义函数可以处理复杂的数据转换、数据清洗或业务逻辑。在 Scala 中创建 UDF，通常需要遵循以下步骤：

1. 定义函数：首先，你需要定义一个满足特定输入和输出类型的函数，可以是简单的映射，也可以是接受多个参数的复杂逻辑。

import org.apache.spark.sql.functions.udf

def customFunction(arg1: String, arg2: Int): Double = {
  // 你的函数逻辑
}
val customUDF = udf(customFunction)

2. 注册函数：使用 `udf` 函数将你的函数注册到 Spark SQL 中，使其可以在 DataFrame 的 SQL 调用中使用。

val dfWithCustomFunc = df.withColumn("result", customUDF($"column1", $"column2"))