Mapreduce求每一科的平均成绩，用数组

好的，这是一个更简单的情况，您可以使用MapReduce来计算每一科的平均成绩，而不需要使用HBase。以下是一些步骤供您参考：

1. 首先，您需要准备好数据。您可以将数据存储在一个文本文件或者一个HDFS文件中。每一行代表一个学生的成绩记录，包括学生ID、学科、成绩等信息，可以使用逗号或者其他分隔符进行分隔。例如：

1001,math,80
1002,math,90
1003,math,85
1001,english,70
1002,english,75
1003,english,80

2. 接下来，您需要编写一个Mapper类来处理每一行数据。在Mapper类中，您需要将每一行数据转换为键值对的形式，其中键是学科，值是一个包含成绩和计数器的数组。具体来说，您可以使用StringTokenizer类或者正则表达式来解析每一行数据，并将学科作为键，成绩和计数器作为数组中的值。例如：

public class AvgScoreMapper extends Mapper<LongWritable, Text, Text, IntArrayWritable> {
    private Text subject = new Text();
    private IntArrayWritable scoreArray = new IntArrayWritable();

    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String[] fields = value.toString().split(",");
        subject.set(fields[1]);
        int[] scores = {Integer.parseInt(fields[2]), 1};
        scoreArray.set(scores);
        context.write(subject, scoreArray);
    }
}

3. 然后，您需要编写一个Reducer类来计算每一科的平均成绩。在Reducer类中，您需要将接收到的所有值进行合并，并计算每一科的总成绩和学生人数。最后，您可以计算每一科的平均成绩，并将它们作为键值对输出。例如：

public class AvgScoreReducer extends Reducer<Text, IntArrayWritable, Text, DoubleWritable> {
    private DoubleWritable avgScore = new DoubleWritable();

    public void reduce(Text key, Iterable<IntArrayWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        int count = 0;
        for (IntArrayWritable array : values) {
            int[] scores = (int[]) array.toArray();
            sum += scores[0];
            count += scores[1];
        }
        double avg = (double) sum / count;
        avgScore.set(avg);
        context.write(key, avgScore);
    }
}

4. 最后，您需要编写一个Driver类来配置和运行MapReduce作业。在Driver类中，您需要设置输入路径、输出路径、Mapper类、Reducer类等参数，并提交作业到Hadoop集群中运行。例如：

public class AvgScoreDriver {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "Average Score");
        job.setJarByClass(AvgScoreDriver.class);
        job.setMapperClass(AvgScoreMapper.class);
        job.setReducerClass(AvgScoreReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntArrayWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

需要注意的是，在本例中，我们使用了一个名为IntArrayWritable的自定义Writable类来保存成绩和计数器的数组。您需要根据自己的需求来决定是否需要使用自定义Writable类。另外，我们也可以使用Combiner类来进一步优化作业性能。