val sparkConf = new SparkConf().setMaster("local[*]").setAppName("spark") val sparkContext = new SparkContext(sparkConf) val dataRDD1: RDD[Int] = dataRDD.mapPartitions( datas => { datas.filter(_==2) } ) dataRDD1.collect().foreach(println) sparkContext.stop()
时间: 2023-05-15 10:04:42 浏览: 88
Spark——SparkContext简单分析1
这段代码是使用 Spark 框架进行数据处理的代码,其中使用了 SparkConf 和 SparkContext 对象来配置和管理 Spark 应用程序。具体来说,这段代码创建了一个本地模式的 Spark 应用程序,将数据集 dataRDD 中的元素进行过滤,只保留值为 2 的元素,并将过滤后的结果打印输出。最后,调用 sparkContext.stop() 方法来停止 Spark 应用程序的运行。
阅读全文