spark中map函数用法
时间: 2023-06-18 21:05:11 浏览: 166
第二章 Spark RDD以及编程接口
在Spark中,`map()`函数是一个常用的转换操作,用于对RDD中的每个元素应用一个函数并返回一个新的RDD。它的语法如下:
```
map[U](f: (T) => U): RDD[U]
```
其中,`T`表示输入RDD中的元素类型,`U`表示输出RDD中的元素类型,`f`是一个将`T`类型元素转换为`U`类型元素的函数。
下面是一个示例,假设有一个包含整数的RDD,我们想将它们都加1并返回一个新的RDD:
```
val rdd = sc.parallelize(Seq(1, 2, 3, 4, 5))
val rdd2 = rdd.map(x => x + 1)
```
这里,我们使用`map()`函数将每个整数加1,并将结果保存在一个新的RDD `rdd2` 中。
阅读全文