sparkdataframe 将特殊值替换为null

Spark DataFrame 可以使用 `na.replace()` 方法将特殊值替换为 null。该方法接受两个参数：要替换的值和替换值。例如，将所有字符串 "N/A" 替换为 null：

from pyspark.sql.functions import when

df = df.withColumn("column_name", when(df.column_name == "N/A", None).otherwise(df.column_name))

或者，将所有 NaN 替换为 null：

df = df.na.replace(float('nan'), None)

注意，在 Spark 中，null 和 NaN 是不同的概念，因此需要根据具体情况进行替换。