val rdd sc.parallelize(array(1,2,3,4,5))输出结果
时间: 2023-09-20 07:06:01 浏览: 118
Spark-Transformation和Action算子.md
这段代码本身并没有输出结果,它只是定义了一个 RDD。如果你想要查看 RDD 中的内容,可以使用 `collect()` 方法将 RDD 中所有的元素都拉取到本地内存中,然后打印出来,例如:
```scala
val rdd = sc.parallelize(Array(1, 2, 3, 4, 5))
println(rdd.collect().mkString(", "))
```
这样就会输出 `1, 2, 3, 4, 5`,也就是 RDD 中的所有元素。注意,`collect()` 方法只适用于数据量较小的 RDD,如果 RDD 中的元素非常多,那么这个方法可能会导致内存溢出。在实际使用中,我们通常会对 RDD 进行各种转换和操作,最终通过 `saveAsTextFile()`、`saveAsSequenceFile()` 等方法将结果保存到磁盘上,而不是通过 `collect()` 方法将所有结果都拉取到本地内存中。
阅读全文