pyspark filter

在 PySpark 中，可以使用 `filter()` 方法来过滤出符合指定条件的数据。`filter()` 方法接受一个函数，该函数用于判断每个元素是否符合条件，符合条件的元素将被保留，不符合条件的元素将被过滤掉。

下面是一个示例代码，演示如何使用 `filter()` 方法来过滤出列表中大于等于 5 的元素：

from pyspark import SparkContext

sc = SparkContext("local", "FilterExample")

data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
rdd = sc.parallelize(data)

filtered_rdd = rdd.filter(lambda x: x >= 5)

print(filtered_rdd.collect())

运行结果如下：

[5, 6, 7, 8, 9, 10]

在这个示例中，我们首先创建了一个 Spark 上下文，并使用 `parallelize()` 方法将一个列表转换成 RDD。然后，我们使用 `filter()` 方法过滤出列表中大于等于 5 的元素，并使用 `collect()` 方法将过滤后的结果收集到本地。最后，我们打印出过滤后的结果。