RDD编程 每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生成绩。编写 Spark独立应用程序求出每名学生的平均成绩,并输出到一个新文件中。下面是输入文件和输出文件的样例，供参考。

在Apache Spark中，RDD（Resilient Distributed Dataset，弹性分布式数据集）是一个分布式计算模型的基础单元，它可以看作是一组分区的数据，每个分区都在集群的一个节点上。如果你需要处理这样的学生成绩文件，并计算每位学生的平均成绩，可以按照以下步骤操作：

1. **读取输入文件**：
使用`SparkContext.textFile()`函数从HDFS、本地文件系统或网络路径读取文件，它会返回一个包含所有行的RDD。

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("StudentAverage")
sc = SparkContext(conf=conf)

input_rdd = sc.textFile("path/to/input/file")

2. **解析数据**：
使用`map()`函数将每一行转换成(key, value)对，其中key是学生名字，value是学生成绩。假设学生名字和成绩之间用特定字符分隔，如逗号或空格。

data_pairs = input_rdd.map(lambda line: line.split(","))

3. **创建键值对**：
使用`flatMap()`或`mapValues()`进一步处理，将每个学生的成绩列表转化为键值对，键是学生名字，值是包含该学生所有成绩的List。

student_scores = data_pairs.flatMap(lambda x: [(x[0], float(x[1]))])

4. **计算平均成绩**：
使用`reduceByKey()`函数对每个学生的所有成绩求和，然后除以成绩的数量得到平均值。

average_scores = student_scores.reduceByKey(lambda total, score: (total + score) / 2)

5. **保存结果**：
最后，使用`saveAsTextFile()`将结果保存到指定的输出文件。

output_path = "path/to/output/file"
average_scores.saveAsTextFile(output_path)

6. **运行程序**：
调用`sc.runJob()`或`sc.parallelize()`启动任务执行。

注意：记得在最后关闭SparkContext以释放资源。