用RDD的groupby函数写一段把数组奇偶分类的代码
时间: 2024-02-18 09:59:30 浏览: 98
按奇偶排序数组1
好的,下面是一段用RDD的groupby函数将数组奇偶分类的代码示例:
```python
from pyspark import SparkContext
# 创建SparkContext
sc = SparkContext("local", "Odd-Even Classifier")
# 定义一个数组
arr = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
# 将数组转化为RDD
rdd = sc.parallelize(arr)
# 使用groupby函数将RDD分为奇数和偶数两个组
groups = rdd.groupBy(lambda x: x % 2)
# 输出结果
for key, values in groups.collect():
print("Key: %d" % (key))
for value in values:
print(value)
```
以上代码中,我们首先创建了一个SparkContext,然后定义了一个数组,将其转化为RDD,并使用groupby函数将RDD分为奇数和偶数两个组。最后,我们遍历每个组,并输出其中的元素。值得注意的是,groupBy返回的是一个元素为(key, iterable)的RDD,其中key为分组的依据,iterable包含了分组后的所有元素。
阅读全文