编写MapReduce的词频统计

编写MapReduce程序来统计词频通常是在Hadoop或其开源生态中的应用，比如Apache Spark。以下是基本步骤：

1. **Map阶段**（Mapper）:
- 输入是一组文本文件，如每一行是一个文档。
- 每个Mapper会读取并解析一行数据，将每个单词作为键（key），值设为1（初始计数）。
- 使用`map()`函数对每行数据进行处理，例如使用`Tokenizer`将其分割成单词。

Text word = new Text();
IntWritable one = new IntWritable(1);
Mapper<String, Text, Text, IntWritable>.call(recordKey, recordValue, context) {
  // 分割字符串，然后增加对应的键值对
  String[] words = recordValue.toString().split(" ");
  for (String w : words) {
    context.write(new Text(w), one);
  }
}

2. **Shuffle和Sort阶段**:
- Shuffle过程将Map阶段产生的键值对按照键排序，然后发送给Reducer。
- 这一步是为了确保所有相同键的键值对被分到同一个Reducer。

3. **Reduce阶段**（Reducer）:
- Reduce函数接收的是相同的键及其相关的值（这里都是1）。
- 它会对这些值进行累加，计算出每个单词的实际频率。
- 例如：

IntWritable total = new IntWritable();
context.reduce(key, values, total);
// 输出键值对：单词 -> 频率
context.write(key, total);

4. **合并结果**:
- Reducer任务完成后，系统会收集所有Reducer的结果，并形成最终的词频统计。

整个过程是分布式执行的，充分利用了集群的计算资源。通过MapReduce，大规模的数据可以高效地处理和分析。