idea使用MapReduce求各年销售总额

假设你有一个包含销售记录的数据集，每个记录包含年份、销售额和其他相关信息。你可以使用 MapReduce 来计算每年的总销售额，具体步骤如下：

1. Map 阶段：遍历数据集，将每个记录中的年份和销售额作为键值对传递给 Map 函数。

2. Shuffle 阶段：将 Map 函数输出的键值对按照键进行分组，将所有相同键的值归为一组。

3. Reduce 阶段：对于每个键值对组，将其所有值相加并输出一个新的键值对，其中键为年份，值为该年份的总销售额。

具体实现可以参考以下代码示例：

Map 阶段：

public static class SalesMapper extends Mapper<Object, Text, IntWritable, DoubleWritable> {
    private final static IntWritable year = new IntWritable();
    private final static DoubleWritable sales = new DoubleWritable();

    public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
        String[] fields = value.toString().split(",");
        year.set(Integer.parseInt(fields[0]));
        sales.set(Double.parseDouble(fields[1]));
        context.write(year, sales);
    }
}

Shuffle 阶段：

不需要额外的代码，Reduce 阶段会自动对键值对进行分组。

Reduce 阶段：

public static class SalesReducer extends Reducer<IntWritable, DoubleWritable, IntWritable, DoubleWritable> {
    private final static DoubleWritable totalSales = new DoubleWritable();

    public void reduce(IntWritable key, Iterable<DoubleWritable> values, Context context) throws IOException, InterruptedException {
        double sum = 0;
        for (DoubleWritable val : values) {
            sum += val.get();
        }
        totalSales.set(sum);
        context.write(key, totalSales);
    }
}

最后，将 Mapper 和 Reducer 函数注册到 Job 中，并提交 Job 运行即可。