hadoop 运行程序统计text单词出现的次数

Hadoop是一个用于处理大规模数据集的分布式计算框架，主要用于离线批处理分析。要统计文本文件中每个单词出现的次数，你可以使用Hadoop的MapReduce模型来完成这个任务。以下是简单的步骤：

1. **Map阶段**：
- 创建一个Mapper函数，它读取输入的文本文件一行行分割成单词（通常使用`split()`函数）。
- 对于每一行，Mapper会将单词作为键（key），并设置值（value）为1。这样做的目的是为了简单地计数，不关心单词的具体内容。

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
        StringTokenizer itr = new StringTokenizer(line);
        while (itr.hasMoreTokens()) {
            word.set(itr.nextToken());
            context.write(word, one);
        }
    }
}

2. **Shuffle阶段**：
- Map阶段结束后，所有相同的键会被收集在一起形成键值对的“中间键值对”（intermediate key-value pairs），准备进入Reduce阶段。

3. **Reduce阶段**：
- 创建一个Reducer函数，它接收的是键和由该键组成的值列表（ValueList）。
- 遍历值列表，累加每个单词出现的次数，并将结果作为新的键值对输出。

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}

4. **Job配置**：
- 在Hadoop的Driver中配置Mapper、Reducer类，以及输入输出路径。

5. **运行Hadoop Job**：
- 将Mapper和Reducer类打包到jar文件中，然后通过命令行工具如`hadoop jar`运行作业，指定输入文件和期望的输出路径。

在实际操作中，还需要配合Hadoop的InputFormat（如TextInputFormat）、OutputFormat（如TextOutputFormat）等组件来实现整个过程。