RDD算子怎么输出两个班的最高分

在Apache Spark的RDD（弹性分布式数据集）操作中，如果你想要获取两个班级的最高分，你需要首先将这两个班级的数据合并到一个RDD中，然后通过map、reduceMax等函数来找出各自的最大值。这里是一个简单的步骤示例：

假设你有两个RDD，`rdd1`代表第一个班级的成绩，`rdd2`代表第二个班级的成绩，每个元素都是一个包含学生ID和分数的元组 `(studentId, score)`。

from pyspark.rdd import RDD

# 合并两个班级的成绩数据
all_scores = rdd1.union(rdd2)

# 使用map将每个学生的分数映射成 (studentId, (studentId, score)) 的形式
formatted_scores = all_scores.map(lambda x: (x[0], (x[0], x[1])))

# 使用reduceByKey找到每个ID对应的最大分数，最后结果是 ((studentId, max_score), count)
max_scores_per_id = formatted_scores.reduceByKey(lambda a, b: max(a[1], b[1]))

# 最终的最高分就是所有最大分数中的最大值
class1_max_score = max_scores_per_id.filter(lambda x: x[0][0] == "班级1标识").values().first()
class2_max_score = max_scores_per_id.filter(lambda x: x[0][0] == "班级2标识").values().first()

print("班级1的最高分:", class1_max_score)
print("班级2的最高分:", class2_max_score)