列举spark常见的转化操作和行动操作
时间: 2023-08-10 16:50:13 浏览: 125
spark的常用操作
5星 · 资源好评率100%
Spark中,常见的转化操作包括:
1. map(func):对RDD中的每个元素应用一个函数,返回一个新的RDD。
2. filter(func):对RDD中的每个元素应用一个函数,返回一个新的RDD,其中包含满足条件的元素。
3. flatMap(func):对RDD中的每个元素应用一个函数,将返回的迭代器中的所有元素组合成一个新的RDD。
4. groupByKey():对(K, V)格式的RDD进行分组,返回一个新的(K, Iterable<V>)格式的RDD。
5. reduceByKey(func):对(K, V)格式的RDD进行分组,并对每组的V值进行reduce操作,返回一个新的(K, V)格式的RDD。
6. sortByKey():对(K, V)格式的RDD按照K进行排序,返回一个新的(K, V)格式的RDD。
常见的行动操作包括:
1. count():返回RDD中元素的个数。
2. collect():以数组的形式返回RDD中的所有元素。
3. reduce(func):对RDD中的所有元素进行reduce操作,返回一个单独的结果。
4. first():返回RDD中的第一个元素。
5. take(n):返回RDD中的前n个元素。
6. foreach(func):对RDD中的每个元素应用一个函数,通常用于数据输出等操作。
阅读全文