hadoop词频统计java.接连接

Hadoop是一个开源的大数据处理框架，主要用于分布式存储和并行计算。在Hadoop生态系统中，常常会用到MapReduce模型来进行大规模的数据处理任务，其中就包括词频统计这样的操作。在Java中，你可以通过以下步骤来实现基于Hadoop的词频统计：

1. **编写Mapper**: Mapper负责读取输入数据并生成键值对。对于文本数据，Mapper会对每一行分割成单词，并将每个单词作为键，1或其他计数作为值。

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
        String[] words = line.split("\\s+");
        for (String word : words) {
            word = word.trim(); // 清理单词
            if (!word.isEmpty()) { // 如果单词非空
                context.write(new Text(word), one);
            }
        }
    }
}

2. **编写Reducer**: Reducer接收Mapper输出的所有键值对，然后聚合相同的键得到总次数。

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}

3. **配置Job**: 创建`Job`对象，设置Mapper和Reducer类，并指定输出的KeyClass和ValueClass。

4. **运行Job**: 使用`Job.getInstance()`启动Job实例，调用`job.waitForCompletion(true)`等待作业完成。