package step1; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import scala.Tuple2; import java.util.*; public class JStudent { public static void main(String[] args) { SparkConf conf = new SparkConf().setMaster("local").setAppName("JStudent"); JavaSparkContext sc = new JavaSparkContext(conf); List<Tuple2<String,Integer>> list = Arrays.asList( new Tuple2("bj",88),new Tuple2("sh",67),new Tuple2("gz",92), new Tuple2("bj",94),new Tuple2("sh",85),new Tuple2("gz",95), new Tuple2("bj",72),new Tuple2("sh",69),new Tuple2("gz",98)); /********** Begin **********/ //第一步:创建RDD //第二步:把相同key的进行聚合 //第三步:输出 /********** End **********/ sc.stop(); } }
时间: 2023-10-21 16:55:18 浏览: 167
vite vue3 import.meta.glob动态路由
这段代码使用 Java 编写了一个 Spark 应用程序,它的功能是读取一个包含学生地区和成绩的列表,将各地区学生的成绩取平均值并输出。具体来说,代码实现了以下三个步骤:
1. 创建一个 JavaRDD 对象,其中包含了学生地区和成绩的列表。
2. 使用 reduceByKey() 方法将具有相同地区的学生成绩进行聚合,并计算平均值。
3. 输出聚合后的结果。
具体实现细节请参考代码中的注释。
阅读全文