spark中foreach
时间: 2023-10-13 18:12:45 浏览: 128
用foreach来访问数组
foreach是Spark中一个操作函数,它可以对RDD中的每个元素执行指定的操作。foreach不会返回任何结果,因为它只是对每个元素执行指定的操作。
举个例子,假设有一个RDD,其中包含了整数类型的元素,现在需要对每个元素进行平方操作,可以使用foreach函数实现:
```
val rdd = sc.parallelize(Seq(1, 2, 3, 4, 5))
rdd.foreach(x => println(x * x))
```
上面的代码会输出1、4、9、16、25,因为它对RDD中的每个元素进行了平方操作,并将结果打印出来。
需要注意的是,foreach操作是在Spark集群中执行的,因此操作的结果不一定会按照输入的顺序输出。如果需要按照顺序输出结果,可以使用collect操作将结果收集到本地后再打印。
阅读全文