mapreduce的分区

### MapReduce 分区概念

在MapReduce框架中，分区是指将中间键值对分配到不同Reducer的任务过程。这一机制决定了哪些键值对会被发送至特定的Reducer实例处理。默认情况下，MapReduce采用单一的分区策略[^1]。

具体而言，默认的分区规则基于键（key）的哈希值与Reducer任务总数求模运算的结果决定。这意味着每一个键都会依据其哈希码被均匀分布到各个可用的Reducer上[^2]。然而，这种简单的分区方案并不总是能满足实际应用需求，特别是在需要根据业务逻辑自定义数据分片场景下。

为了满足更复杂的应用场景，可以通过继承`Partitioner`抽象类并重写其中的方法来自定义分区器[^3]。这允许开发者根据应用程序的具体要求灵活调整如何将输入记录映射到不同的Reducer实例上去。

### 实现方法

下面是一个简单例子展示如何创建一个自定义分区器：

public class CustomPartitioner extends Partitioner<Text, IntWritable> {
    @Override
    public int getPartition(Text key, IntWritable value, int numPartitions) {
        String prefix = key.toString().substring(0, 3); // 假设按手机号前缀分区
        switch (prefix){
            case "138":
                return 0 % numPartitions;
            case "139":
                return 1 % numPartitions;
            default:
                return new HashPartitioner<Text,IntWritable>().getPartition(key,value,numPartitions);
        }
    }
}

在此示例中，通过覆盖`getPartition()`函数实现了根据不同条件（这里是电话号码开头几位数）来指定输出应该送往哪一个Reducer实例的功能。此代码片段展示了当遇到以“138”或“139”开头的电话号码时，它们分别会被定向到第一个和第二个Reducer；而对于其他类型的电话，则继续沿用默认的Hash算法进行分配。