spark sql eval函数

Spark SQL中的`eval()`函数是一个用于动态计算列表达式的功能，它允许你在DataFrame或Dataset的查询阶段对数据进行复杂计算并返回一个新的列。这个函数接受一个SQL表达式作为输入，该表达式可以基于DataFrame的数据进行操作，例如数学运算、条件判断等。使用`eval()`，你可以创建新的属性，或者修改已有列的内容，无需显式地编写UDF（用户自定义函数）。

例如，如果你有一个包含数值类型的column `price`，你可以使用`eval("price * 0.9 + 5")`来创建一个新的列，表示折扣后的价格，并且这个计算是在运行时动态完成的。

val discountedPrice = df.select($"*".as("*"), col("price").cast("double").expr("price * 0.9 + 5") as "discounted_price")

相关问题

使用BaseBuiltin类来自定义函数，判断第一个输入的字段是否包含第二个

可以使用以下代码来自定义函数：

from pyspark.sql.functions import udf, StringType
from pyspark.sql.types import BooleanType
from pyspark.sql.functions import col

class ContainsBuiltin(BaseBuiltin):
    """
    自定义函数，判断第一个输入的字段是否包含第二个
    """
    def eval(self, row, str1, str2):
        return str2 in str1

contains_udf = udf(ContainsBuiltin(), BooleanType())

然后，你可以使用`contains_udf`来在Spark DataFrame中应用自定义函数。例如：

df = spark.createDataFrame([(1, "hello world"), (2, "foo bar")], ["id", "text"])
df = df.withColumn("contains", contains_udf(col("text"), col("id")))
df.show()

这将会输出：

+---+-----------+--------+
| id|       text|contains|
+---+-----------+--------+
|  1|hello world|    true|
|  2|    foo bar|   false|
+---+-----------+--------+