pyspark查询所有数据中的缺失值

在 PySpark 中，我们可以使用 DataFrame API 中的 `isNull()` 方法结合聚合函数 `sum()` 来查询所有数据中的缺失值数量。

例如，假设我们有一个 DataFrame `df`，其中包含多列数据：

+----+-------+--------+
| id | name  |  age   |
+----+-------+--------+
|  1 | Alice |   25   |
|  2 |   Bob |   30   |
|  3 | Carol |  null  |
|  4 | David |   35   |
|  5 |  Emma |  null  |
+----+-------+--------+

我们可以使用以下代码查询所有数据中的缺失值数量：

from pyspark.sql.functions import col, sum

# 计算每列中的缺失值数量
null_counts = df.select([sum(col(c).isNull().cast('int')).alias(c) for c in df.columns])

# 显示结果
null_counts.show()

执行上述代码后，`null_counts` 将包含每列中的缺失值数量，结果如下：

+---+----+---+
| id|name|age|
+---+----+---+
|  0|   0|  2|
+---+----+---+

其中，`id` 和 `name` 列中没有缺失值，而 `age` 列中有 2 个缺失值。

希望对你有所帮助！