Spark清空表数据

Apache Spark 中，如果你想清空一个表的数据，可以使用 `DataFrame` 或 `Dataset` 的 `drop()` 或 `write.mode("overwrite")` 方法。以下是两种常见的做法：

1. 使用 `drop()` 方法：

from pyspark.sql import SparkSession

# 假设 df 是你的 DataFrame 对象
spark = SparkSession.builder.getOrCreate()
df.createOrReplaceTempView("your_table_name")  # 将 DataFrame 转换为视图以便操作
df.drop().show()  # 这不会实际删除数据，只是创建了一个新的空 DataFrame，原表仍存在

如果你想要永久删除数据并重建表结构，可以这样操作：

df.createGlobalTempView("your_table_name")  # 创建全局临时视图
spark.sql("DROP TABLE IF EXISTS global_temp.your_table_name")  # 清空全球临时表

2. 使用 `write.mode("overwrite")` 写入新数据覆盖原有数据：

df.write.mode("overwrite").format("parquet" or "csv" or "json") \
    .save("path/to/save/your_table")  # 选择适当的文件格式

这将覆盖原本的数据，使其变得为空。