spakr-shell实现 给定一组键值对(”Marry”,78),(”John”,89),(”Mike”,92),(”Sam”,69),(”Rose”,77)，键值对中的value表示分数，计算所有同学成绩的平均分。

Spark Shell是一种基于Apache Spark的数据处理环境，它提供了一个交互式的Shell界面，可以方便地编写和运行分布式数据处理任务。要利用Spark Shell来计算这组学生成绩的平均分，首先需要将数据加载到Spark DataFrame中，然后对分数求总和并除以学生数。

以下是步骤概述：

1. **创建SparkSession**: 首先，你需要导入必要的库，并通过`SparkSession.builder`创建一个SparkSession。

import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder.appName("AverageScore").getOrCreate()

2. **数据输入**: 将键值对转换成一个结构化的数据源，如CSV、JSON或内存中的数据。这里假设数据已经存在，我们可以直接读取进来。

val pairs = spark.read.textFile("path_to_data.txt") // 假设数据文件包含格式"Key,Value"

3. **数据转换**: 使用`explode`函数将每行分割成一行一行，然后用`withColumnRenamed`重命名列名。

val data = pairs.select($"value".as("score"))

4. **计算平均分**: 创建一个新的列来存储累计分数，然后累加并计算平均值。

val totalScores = data.groupBy().sum("score")
val averageScore = totalScores.withColumn("average", $"score"/totalScores.count())

5. **获取结果**: 最后，显示平均分。

averageScore.show()