使用BaseBuiltin类来自定义函数，判断第一个输入的字段是否包含第二个

可以使用以下代码来自定义一个函数，判断第一个输入的字段是否包含第二个：

from pyspark.sql.functions import udf
from pyspark.sql.types import BooleanType
from pyspark.sql.functions import col

class Contains(BaseBuiltin):
    """
    Custom function to check if first input contains second input
    """
    def eval(self, row, str1, str2):
        return str2 in str1
    
    def dataType(self):
        return BooleanType()
    
    def inputTypes(self):
        return [StringType(), StringType()]
    
# Register the UDF
contains_udf = udf(Contains(), BooleanType())

# Usage example
df = spark.createDataFrame([(1, "hello world", "world"), (2, "hello spark", "world")], ["id", "text", "search"])
df.filter(contains_udf(col("text"), col("search"))).show()

在上面的示例中，我们首先定义了一个名为`Contains`的类，它继承了`BaseBuiltin`类，这是Spark SQL中用于自定义函数的基类。在`eval`方法中，我们实现了自定义函数的逻辑，如果第一个输入的字符串包含第二个输入的字符串，则返回True，否则返回False。`dataType`方法定义了输出值的数据类型，而`inputTypes`方法定义了输入值的数据类型。最后，我们使用`udf`函数将自定义函数转换为UDF，并将其与数据框一起使用。