MapReduce中自定义比较器

### MapReduce 中自定义比较器的实现

在MapReduce框架中，为了满足特定的数据处理需求，有时需要对中间键值对进行定制化的排序操作。为此，可以通过创建自定义比较器来控制`shuffle`和`sort`阶段的行为。

#### 创建自定义比较器类

自定义比较器应当继承于`WritableComparator`并覆盖其构造函数以及必要的比较逻辑。下面是一个基于复合键（假设由日期与温度组成）构建的例子：

public class TemperatureYearMonthCompositeKeyComparator extends WritableComparator {
    protected TemperatureYearMonthCompositeKey.Comparator comparator;

    public TemperatureYearMonthCompositeKeyComparator() {
        super(TemperatureYearMonthCompositeKey.class, true);
        this.comparator = new TemperatureYearMonthCompositeKey.Comparator();
    }

    @Override
    public int compare(byte[] b1, int s1, int l1,
                       byte[] b2, int s2, int l2) {
        return comparator.compare(b1, s1, l1, b2, s2, l2);
    }
}

这里的关键在于覆写了`compare()`方法，在这个例子中它会调用内部静态类中的同名方法来进行实际对比工作[^1]。

#### 设置自定义比较器到Job配置

为了让MapReduce作业识别所编写的比较器，需将其注册至当前的任务上下文中。这通常是在主驱动程序里完成的工作之一：

Configuration conf = new Configuration();
Job job = Job.getInstance(conf);

// ...其他配置...

job.setSortComparatorClass(TemperatureYearMonthCompositeKeyComparator.class); // 注册自定义比较器

通过上述方式指定之后，整个MapReduce过程中将会应用此比较策略对key-value pair执行排序。

#### 定义组合键类型及其序列化机制

对于复杂类型的键来说，还需要确保它们能够被正确地序列化/反序列化以便在网络上传输或存储到磁盘文件系统中。因此要让这些对象遵循一定的协议——即实现了`WritableComparable<T>`接口，并提供相应的读取(`readFields`)和写出(`write`)成员函数。

public class TemperatureYearMonthCompositeKey implements WritableComparable<TemperatureYearMonthCompositeKey> {

    private IntWritable year;
    private IntWritable month;
    private FloatWritable temperature;

    // 构造函数、getter/setter 方法省略...
    
    @Override
    public void write(DataOutput out) throws IOException {
        year.write(out);
        month.write(out);
        temperature.write(out);
    }

    @Override
    public void readFields(DataInput in) throws IOException {
        year.readFields(in);
        month.readFields(in);
        temperature.readFields(in);
    }

    @Override
    public int compareTo(TemperatureYearMonthCompositeKey other) {
        int cmp = this.year.compareTo(other.getYear());
        if (cmp != 0) {return cmp;}
        
        cmp = this.month.compareTo(other.getMonth());
        if (cmp != 0) {return cmp;}

        return this.temperature.compareTo(other.getTemperature());
    }
}

以上代码片段展示了如何设计一个用于表示年份、月份加上最高气温记录的对象模型；同时提供了完整的字节流转换支持，使得它可以作为MapReduce任务间传递的有效载体。