spark将列表中的数字分为奇数和偶数两组。 输出奇数和偶数两组的列表。 整数列表数值如下: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10
时间: 2024-04-24 08:20:18 浏览: 201
要使用Spark将列表中的数字分为奇数和偶数两组,可以按照以下步骤进行操作:
1. 创建一个SparkContext对象,用于连接到Spark集群。
2. 使用parallelize方法将整数列表转换为一个RDD(弹性分布式数据集)。
3. 使用filter方法分别过滤出奇数和偶数的元素,创建两个新的RDD。
4. 使用collect方法将两个RDD转换为本地列表,即奇数列表和偶数列表。
下面是代码示例:
```python
from pyspark import SparkContext
# 创建SparkContext对象
sc = SparkContext("local", "Spark Example")
# 整数列表
numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
# 将整数列表转换为RDD
numbers_rdd = sc.parallelize(numbers)
# 过滤出奇数和偶数的元素
odd_numbers_rdd = numbers_rdd.filter(lambda x: x % 2 != 0)
even_numbers_rdd = numbers_rdd.filter(lambda x: x % 2 == 0)
# 将RDD转换为本地列表
odd_numbers = odd_numbers_rdd.collect()
even_numbers = even_numbers_rdd.collect()
# 打印奇数和偶数列表
print("奇数列表:", odd_numbers)
print("偶数列表:", even_numbers)
```
运行以上代码,你将得到输出结果:
```
奇数列表: [1, 3, 5, 7, 9]
偶数列表: [2, 4, 6, 8, 10]
```
阅读全文