pyspark dataframe把nan处理为空值

在pyspark中，可以使用`na`模块来处理DataFrame中的缺失值（NaN）。要将NaN处理为空值，可以使用`na.drop()`方法来删除包含NaN的行或列。该方法可选择删除包含NaN的行（使用参数`how='any'`）或列（使用参数`how='any'`）。

以下是一个示例代码，使用`na.drop()`来处理NaN值：

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建示例DataFrame
data = [(1, 2.5, None), (2, None, 3.5), (3, 4.2, 5.1)]
df = spark.createDataFrame(data, ['col1', 'col2', 'col3'])

# 显示原始DataFrame
df.show()

# 处理NaN值，删除包含NaN的行
df_clean = df.na.drop(how='any')

# 显示处理后的DataFrame
df_clean.show()

以上代码首先创建了一个包含NaN值的示例DataFrame，然后使用`na.drop()`方法删除了包含NaN的行。最后，通过使用`show()`方法，显示了处理后的DataFrame。