spark 删除缺失值

要在 Spark 中删除缺失值，可以使用 `dropna()` 方法。具体步骤如下：

1. 导入相关的 Spark 模块：

from pyspark.sql import SparkSession

2. 创建 Spark 会话：

spark = SparkSession.builder.getOrCreate()

3. 读取数据并创建一个 DataFrame 对象：

df = spark.read.csv("path_to_file.csv", header=True, inferSchema=True)

4. 使用 `dropna()` 方法删除缺失值：

df_without_missing_values = df.dropna()

这将返回一个不包含任何缺失值的新 DataFrame。你可以选择指定 `subset` 参数来删除特定列中的缺失值，或者使用 `how` 参数来指定删除缺失值的方式（例如，只删除全行都是缺失值的行）。

df_without_missing_values = df.dropna(subset=["column1", "column2"])
df_without_missing_values = df.dropna(how="all")

5. 可以进一步处理新的 DataFrame，或者将其保存到文件中：

df_without_missing_values.write.csv("path_to_output.csv", header=True, mode="overwrite")

请确保将 "path_to_file.csv" 替换为实际的文件路径，并将 "column1"、"column2" 和 "path_to_output.csv" 替换为实际的列名和输出路径。

希望对你有所帮助！如果有任何问题，请随时提问。