用idea编写hadoop实现对2020高校考研平均分数线的统计

以下是用IDEA编写Hadoop实现对2020高校考研平均分数线的统计的步骤：

1. 准备数据

首先需要准备包含高校考研平均分数线的数据文件，格式为：

高校名称 平均分

例如：

清华大学 345
北京大学 340
复旦大学 320

2. 创建Hadoop项目

在IDEA中创建一个新的Maven项目，并添加hadoop的依赖。

3. 编写Mapper类

Mapper类负责将数据按照一定的规则进行切分和处理，以便后续的Reducer类进行统计。在本例中，Mapper类的任务是将高校名称作为key，平均分作为value输出。具体代码如下：

public class ScoreMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

    private Text outKey = new Text();
    private IntWritable outValue = new IntWritable();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String[] tokens = value.toString().split(" ");
        outKey.set(tokens[0]);
        outValue.set(Integer.parseInt(tokens[1]));
        context.write(outKey, outValue);
    }
}

4. 编写Reducer类

Reducer类负责接收Mapper类输出的数据，并进行相应的统计。在本例中，Reducer类的任务是计算每个高校的平均分数线，并将结果输出。具体代码如下：

public class ScoreReducer extends Reducer<Text, IntWritable, Text, DoubleWritable> {

    private DoubleWritable outValue = new DoubleWritable();

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        int count = 0;
        for (IntWritable value : values) {
            sum += value.get();
            count++;
        }
        double average = (double) sum / count;
        outValue.set(average);
        context.write(key, outValue);
    }
}

5. 配置Job并运行

在主函数中配置Job的相关参数，并将Mapper和Reducer类设置到Job中。具体代码如下：

public class ScoreJob {

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "ScoreJob");

        job.setJarByClass(ScoreJob.class);
        job.setMapperClass(ScoreMapper.class);
        job.setReducerClass(ScoreReducer.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(DoubleWritable.class);

        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

其中，args[0]代表输入文件路径，args[1]代表输出文件路径。最后，运行该程序即可得到每个高校的平均分数线统计结果。