通过MapReduce编程模型独立完成一个对学生成绩的数据文件进行数据去重、数据排序、求平均值的代码

在MapReduce编程模型中，我们可以将这个问题分解成三个步骤：映射（Map）、规约（Shuffle and Reduce），以及最后的结果合并。假设我们有一个包含学生ID和成绩的文本文件作为输入。

1. **Map阶段**：

// 使用TextInputFormat读取文件
Mapper<String, String, Key, Value> map = new Mapper<String, String, Text, IntWritable>() {
    private final static IntWritable one = new IntWritable(1);
    private Text scoreText = new Text();

    public void map(String line, Context context) throws IOException, InterruptedException {
        String[] fields = line.split(",");
        if (fields.length == 2) { // 假设分数字段在第二位
            context.write(new Text(fields[0]), one); // 学生ID作为Key，值为1表示计数
        }
    }
};

这里我们将每个学生的记录转换为键值对（学生ID, 1），用于后续去重。

2. **Shuffle and Reduce阶段**：

// Reducer处理相同的Key并累加值
Reducer<Text, IntWritable, Text, IntegerWritable> reduce = new Reducer<Text, IntWritable, Text, IntegerWritable>() {
    private IntegerWritable sum = new IntegerWritable();
    
    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int count = 0;
        for (IntWritable val : values) {
            count += val.get();
        }
        context.write(key, new IntegerWritable(count)); // 输出去重后的学生ID及其计数
    }

    // 对结果按值排序，这里需要自定义一个比较器
    protected void mergeKey(Context context, Text key, Iterable<IntermediateKey> keys) throws IOException, InterruptedException {
        //...
    }
};

我们计算每个唯一学生ID的数量，并对结果进行排序。

3. **结果合并**：

// 合并所有reduce任务的结果，得到最终的平均分
// 注意这一步通常在Hadoop集群外部完成，比如使用JobClient或Driver程序
float averageScore = calculateAverageScores(context); // 这里需要从reducer的输出中获取总分数和学生数
System.out.println("平均分: " + averageScore);

在这个过程结束后，`averageScore`就是所有去重后学生的平均成绩。然而，在实际项目中，这个计算可能会更复杂，因为MapReduce并不直接支持浮点数的平均运算，通常需要在客户端做进一步处理。