pyspark查看原始数据集每一列缺失值情况

在Pyspark中，如果你想要查看DataFrame或Spark SQL中的原始数据集每一列的缺失值情况，你可以使用`na`属性或`isnull()`函数配合聚合操作。这里是一个简单的步骤：

1. 首先，你需要导入必要的库：

from pyspark.sql.functions import col, isnan, count

2. 然后，对DataFrame应用这些函数：

# 对于DataFrame df
num_missing = df.select([col(c).alias(c) for c in df.columns]).withColumn("is_null", isnan(df)).groupBy("is_null").count()

这将创建一个新的DataFrame，其中包含每列是否包含缺失值的信息，以及每列有多少缺失值。

或者，可以直接计算每列的`nans`：

num_missing_per_col = df.selectExpr(*[f"COUNT(CASE WHEN {c} IS NULL THEN 1 ELSE null END) as missing_count_{c}" for c in df.columns])

结果会显示每列的缺失值数量。记得检查`show()`或`head()`方法来查看结果。