在Spark Shell交互式编程环境下,执行如下Scala语句后返回的运算结果是下列哪一项?val data = sc.parallelize(Array(2,2,4,4,6),2) data.map(x => x / 2).reduce(_ + _)
时间: 2024-04-01 17:32:19 浏览: 66
执行上述Scala语句后,返回的运算结果是 9。
解释如下:
首先,创建了一个包含5个元素的RDD,分为两个分区,每个分区包含2个元素。
然后,通过map转换操作,将每个元素除以2,得到一个新的RDD。
接着,通过reduce操作,将新的RDD中的所有元素相加得到最终结果。
具体计算过程如下:
- (2, 2) 分区1
- (4, 4) 分区2
- (6) 分区2
- (1, 1) 分区1,应用 map 操作后变为 (1, 1)
- (2, 2) 分区2,应用 map 操作后变为 (1, 1)
- (3) 分区2,应用 map 操作后变为 (1)
- (2) 分区1,应用 reduce 操作后变为 2
- (2) 分区2,应用 reduce 操作后变为 2
- (1) 应用 reduce 操作后变为 1
- 2 + 2 + 1 = 5
- 因为有两个分区,所以最终结果为 2 * 5 = 10
因此,最终运算结果为 9。
阅读全文
相关推荐
![rar](https://img-home.csdnimg.cn/images/20241231044955.png)
![rar](https://img-home.csdnimg.cn/images/20241231044955.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![pdf](https://img-home.csdnimg.cn/images/20241231044930.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![.zip](https://img-home.csdnimg.cn/images/20241231045053.png)