dateframe spark sql 删除数据

要在DataFrame中删除数据，您可以使用`filter()`函数来选择要保留的行。例如，假设我们有一个DataFrame `df`，其中包含一个名为`age`的列，我们想删除`age`等于30的所有行：

from pyspark.sql.functions import col

df = df.filter(col("age") != 30)

上面的代码会创建一个新的DataFrame，其中不包含`age=30`的行。请注意，`filter()`函数返回一个新的DataFrame，而不是修改原始DataFrame。

要在Spark SQL中删除数据，您可以使用`DELETE FROM`语句。例如，假设我们有一个名为`people`的表，其中包含一个名为`age`的列，我们想删除`age`等于30的所有行：

DELETE FROM people WHERE age = 30

上面的代码将从`people`表中删除所有`age=30`的行。请注意，`DELETE`语句将永久删除数据，因此请谨慎使用。