idea创建mapper reduce main

在Apache Hadoop MapReduce编程模型中，`Mapper`, `Reducer`, 和 `main` 函数通常是在Hadoop的MapReduce作业中使用的三个核心组件。以下是创建这个结构的一个基本步骤：

1. **Mapper**:
- 创建一个实现了`org.apache.hadoop.mapreduce.Mapper`接口的类。这个类需要两个方法：`map()`方法处理输入键值对（`<key, value>`），并产出一系列中间键值对（`<key, intermediateValue>`），以及一个可选的`setup()`方法用于初始化。

   public class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
       // map()方法在这里编写，处理输入并生成新的键值对
       public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
           // ...
       }
   }

2. **Reducer**:
- 类似地，创建一个实现了`org.apache.hadoop.mapreduce.Reducer`接口的类。它有两个方法：`reduce()`处理来自`Mapper`的中间键值对，生成最终结果；`cleanup()`方法在完成所有reduce操作后运行，清理资源。

   public class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
       // reduce()方法在这里编写，汇总中间值并产生最终结果
       public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
           int sum = 0;
           for (IntWritable val : values) {
               sum += val.get();
           }
           context.write(key, new IntWritable(sum));
       }
   }

3. **main函数**:
- 最后，在主类（通常是名为`MyJobDriver`或类似名称的类）里，你需要配置任务、设置Mapper和Reducer，并通过`Job`对象提交到Hadoop集群。

   public static void main(String[] args) throws Exception {
       Configuration conf = new Configuration();
       Job job = Job.getInstance(conf, "My MapReduce Job");
       job.setJarByClass(MyJobDriver.class);
       job.setMapperClass(MyMapper.class);
       job.setCombinerClass(MyReducer.class); // 可选，如果不需要分发数据，则可以省略
       job.setReducerClass(MyReducer.class);
       job.setOutputKeyClass(Text.class);
       job.setOutputValueClass(IntWritable.class);
       FileInputFormat.addInputPath(job, new Path(args[0])); // 输入路径
       FileOutputFormat.setOutputPath(job, new Path(args[1])); // 输出路径
       System.exit(job.waitForCompletion(true) ? 0 : 1);
   }