Java mapreduce统计每门科程的最高分最低分和平均分
时间: 2024-03-09 16:48:28 浏览: 63
程序用JAVA编写,统计每个学生的总分
好的,那我来给你提供一个Java的MapReduce程序实现,主要使用Hadoop框架。
先看Mapper类的实现:
```java
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
public class ScoreMapper extends Mapper<Object, Text, Text, IntWritable>{
private Text course = new Text();
private IntWritable score = new IntWritable();
public void map(Object key, Text value, Context context)
throws IOException, InterruptedException {
String[] fields = value.toString().split(",");
course.set(fields[0]); // 课程名作为Map输出的key
score.set(Integer.parseInt(fields[1])); // 成绩作为Map输出的value
context.write(course, score);
}
}
```
上述代码中,我们使用了Hadoop提供的Mapper类,并重写了其map方法,实现了Map函数的逻辑。具体来说,我们将输入数据按照逗号进行分割,将课程名作为Map输出的key,将成绩作为Map输出的value,最后使用context.write方法输出键值对。
接下来看Reducer类的实现:
```java
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
public class ScoreReducer extends Reducer<Text, IntWritable, Text, Text> {
public void reduce(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException {
int max = Integer.MIN_VALUE;
int min = Integer.MAX_VALUE;
int sum = 0;
int count = 0;
for(IntWritable value : values) {
int score = value.get();
max = Math.max(max, score);
min = Math.min(min, score);
sum += score;
count++;
}
double avg = (double) sum / count;
String result = "max: " + max + ", min: " + min + ", avg: " + avg;
context.write(key, new Text(result));
}
}
```
上述代码中,我们使用了Hadoop提供的Reducer类,并重写了其reduce方法,实现了Reduce函数的逻辑。具体来说,我们对每个键值对的值进行遍历,并记录最大值、最小值、总和和数量,最后计算平均值并输出结果。
最后,我们需要在Driver类中进行MapReduce程序的配置和运行:
```java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class Score {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "score");
job.setJarByClass(Score.class);
job.setMapperClass(ScoreMapper.class);
job.setReducerClass(ScoreReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
```
上述代码中,我们使用了Hadoop提供的Job类,并对MapReduce程序进行了配置,包括输入路径、输出路径、Mapper类、Reducer类等。最后,我们使用job.waitForCompletion方法将MapReduce程序提交到集群中运行。
以上就是一个基本的Java的MapReduce程序实现,可以用于统计每门科目的最高分、最低分和平均分。
阅读全文