pyspark cast

pyspark中的cast函数用于将列转换为指定的数据类型。它的语法为Column.cast(dataType)，其中dataType表示要转换的目标数据类型。这个函数将返回一个新的Column对象，该对象将列转换为指定的数据类型。

下面是一个使用cast函数的例子：

from pyspark.sql import SparkSession
from pyspark.sql.types import IntegerType

spark = SparkSession.builder.getOrCreate()

# 创建DataFrame
data = [("Alice", "25"), ("Bob", "30"), ("Charlie", "35")]
df = spark.createDataFrame(data, ["Name", "Age"])

# 将Age列转换为整数类型
df_cast = df.withColumn("Age", df["Age"].cast(IntegerType()))

# 显示转换后的结果
df_cast.show()

以上代码将Age列中的字符串值转换为整数类型。在这个例子中，我们使用cast函数将Age列转换为IntegerType。