为hadoop官网提供的wordcount的每一行java代码写注释
时间: 2024-03-23 20:38:10 浏览: 64
hadoop的wordcount实例代码
好的,以下是针对Hadoop官网提供的WordCount示例代码的每一行Java代码的注释:
```java
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class WordCount {
public static class TokenizerMapper
extends Mapper<Object, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumReducer
extends Reducer<Text,IntWritable,Text,IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
```
其中,包括以下几个类和方法:
- `import`:导入所需的类和方法。
- `public class WordCount`:定义了一个公共类WordCount,其中包含了一个main方法和两个静态内部类。
- `public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>`:定义了一个静态内部类TokenizerMapper,继承了Mapper类,并重写了其中的map方法。该类用于将输入的文本进行分词处理,并将每个单词输出为(key, value)的形式,其中key为单词,value为1。
- `public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable>`:定义了一个静态内部类IntSumReducer,继承了Reducer类,并重写了其中的reduce方法。该类用于将相同单词的value值进行累加,并输出为(key, value)的形式,其中key为单词,value为该单词的出现次数。
- `public static void main(String[] args) throws Exception`:定义了一个静态的主方法,其中包含了创建Job实例、设置Mapper和Reducer类、设置输入和输出路径等步骤,最后启动Job并等待其完成的代码。
- `Configuration conf = new Configuration()`:创建了一个Configuration对象,用于存储Hadoop集群的配置信息。
- `Job job = Job.getInstance(conf, "word count")`:创建了一个Job实例,用于描述一个Hadoop作业。
- `job.setJarByClass(WordCount.class)`:指定了作业运行时所需的jar包。
- `job.setMapperClass(TokenizerMapper.class)`:指定了Mapper类。
- `job.setCombinerClass(IntSumReducer.class)`:指定了Combiner类。
- `job.setReducerClass(IntSumReducer.class)`:指定了Reducer类。
- `job.setOutputKeyClass(Text.class)`:指定了输出的key类型。
- `job.setOutputValueClass(IntWritable.class)`:指定了输出的value类型。
- `FileInputFormat.addInputPath(job, new Path(args[0]))`:指定了输入路径。
- `FileOutputFormat.setOutputPath(job, new Path(args[1]))`:指定了输出路径。
- `System.exit(job.waitForCompletion(true) ? 0 : 1)`:启动Job并等待其完成,并根据Job的运行结果返回相应的状态码。
阅读全文