举例说明 spark 一个算子的函数中使用到了某个外部的变量

假设现在有一个RDD，存储了一些整数，我们需要对这些整数进行筛选，只保留大于某个阈值的数。这个阈值是一个外部变量，我们可以在算子函数中使用它。

具体实现代码如下：

threshold = 50

def filter_func(num):
    return num > threshold

rdd = sc.parallelize([10, 20, 30, 40, 50, 60, 70, 80, 90])
filtered_rdd = rdd.filter(filter_func)

print(filtered_rdd.collect())

在这个例子中，我们定义了一个阈值变量 threshold，并将其赋值为 50。在 filter_func 函数中，我们使用了这个变量来进行筛选操作，只保留大于阈值的数。然后，我们使用 filter 算子对 RDD 进行筛选，得到了一个新的 RDD filtered_rdd。

最后，我们使用 collect 方法将新 RDD 中的元素以列表的形式打印出来。可以看到，只有大于 50 的数被保留了下来。