在hadoop,调用MapReduce，求出各年销售总额

假设有一个包含销售数据的大数据集合，其中每个记录都包含了销售日期、销售金额等信息。我们可以通过编写MapReduce程序来计算每年的销售总额。

首先，在Map阶段，我们需要将每个记录的销售日期和销售金额作为键值对传递给Reduce函数。Map函数的代码如下：

public static class SalesMapper extends Mapper<LongWritable, Text, IntWritable, FloatWritable> {
    private final IntWritable year = new IntWritable();
    private final FloatWritable amount = new FloatWritable();

    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String[] fields = value.toString().split(",");
        // 将日期格式转换为年份
        String date = fields[0];
        year.set(Integer.parseInt(date.substring(0, 4)));
        // 将销售金额作为值传递给Reduce函数
        amount.set(Float.parseFloat(fields[1]));
        context.write(year, amount);
    }
}

在Reduce阶段，我们需要对每个年份的销售金额进行累加，得到该年的销售总额。Reduce函数的代码如下：

public static class SalesReducer extends Reducer<IntWritable, FloatWritable, IntWritable, FloatWritable> {
    private final FloatWritable total = new FloatWritable();

    public void reduce(IntWritable key, Iterable<FloatWritable> values, Context context) throws IOException, InterruptedException {
        float sum = 0;
        for (FloatWritable value : values) {
            sum += value.get();
        }
        total.set(sum);
        context.write(key, total);
    }
}

最后，我们需要在Driver函数中设置MapReduce作业的输入路径、输出路径、Mapper和Reducer类等信息，并提交作业到Hadoop集群上运行。Driver函数的代码如下：

public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "SalesTotal");
    job.setJarByClass(SalesTotal.class);
    job.setMapperClass(SalesMapper.class);
    job.setReducerClass(SalesReducer.class);
    job.setOutputKeyClass(IntWritable.class);
    job.setOutputValueClass(FloatWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}

其中，args[0]和args[1]分别为输入路径和输出路径，这些路径需要在命令行参数中传递给程序。例如，我们可以通过以下命令来运行程序：

hadoop jar SalesTotal.jar /input /output

其中，/input是包含销售数据的HDFS路径，/output是计算结果的HDFS输出路径。程序运行完毕后，/output路径下会生成一个或多个包含各年销售总额的文件。