首页键值对RDD转换操作values只会把PairRDD中的value返回形成一个新的RDD

键值对RDD转换操作values只会把PairRDD中的value返回形成一个新的RDD

时间: 2024-05-02 08:18:00 浏览: 83

Spark快速大数据分析——第四章键值对操作——两个Pair RDD的转化操作

键值对两个Pair RDD 转化操作 val conf = new SparkConf().setMaster(local).setAppName(PairRDD) val sc = new SparkContext(conf) val lines = sc.parallelize(List((1, 2), (3, 4), (3, 6))) val lines_1 = sc.parallelize(List((3, 9))) 1、删掉RDD中与other RDD 中的键相同得元素 (1, 2), (3, 4), (3, 6) privateval subtra

。例如，有一个键值对RDD如下： ``` rdd = [(1, 'a'), (2, 'b'), (3, 'c'), (4, 'd'), (5, 'e')] ``` 若对其进行values操作，则会得到一个由value组成的新RDD，如下： ```python >>> rdd.values().collect() ['a', 'b', 'c', 'd', 'e'] ```

阅读全文