spark怎么统计csv文件中的空值

在Spark中，可以使用`DataFrame`和`SparkSQL`来处理CSV文件中的空值。以下是两种方法：

**方法一：使用DataFrame**

使用`DataFrame`的`na`对象的`drop`方法可以删除CSV文件中的空值。例如，假设我们有一个名为`data.csv`的CSV文件，其中包含空值。可以使用以下代码加载CSV文件并删除包含空值的行：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("CSVExample").getOrCreate()

df = spark.read.csv("path/to/data.csv", header=True, inferSchema=True)
df = df.na.drop()

df.show()

在上面的代码中，`header=True`和`inferSchema=True`参数将第一行视为列名，并自动推断每列的数据类型。`na.drop()`方法将删除包含空值的行。最后，`show()`方法将显示结果。

**方法二：使用SparkSQL**

使用SparkSQL也可以处理CSV文件中的空值。以下是示例代码：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("CSVExample").getOrCreate()

df = spark.read.csv("path/to/data.csv", header=True, inferSchema=True)
df.createOrReplaceTempView("data")

result = spark.sql("SELECT * FROM data WHERE column_name IS NOT NULL")

result.show()

在上面的代码中，`createOrReplaceTempView()`方法将DataFrame注册为临时表，并使用SQL查询语句删除包含空值的行。最后，`show()`方法将显示结果。需要将`column_name`替换为要检查的列的名称。