mapreduce实现中午词频统计

MapReduce是一种分布式计算模型，由Google在2004年提出，主要用于处理大规模数据集的并行化处理，特别是那些无法单机处理的数据集。在词频统计这样的任务中，MapReduce被用来高效地找出文本中的单词及其出现次数。

实现过程大致分为两个主要步骤：

1. **Map阶段（Mapping）**:
- 输入数据被分割成一系列小块（key-value对），比如每个单词及其所在的文档编号。
- Map任务会逐个处理这些键值对，对于每一个单词，会执行自定义的map函数，将单词拆解出来，并产生一个新的键值对，键是单词，值是1或其他计数器（初始通常为1）。

2. **Shuffle和Reduce阶段（Reduction）**:
- Shuffle阶段将所有Map任务产生的相同键（在这个例子中是单词）收集到一起，形成中间键值对，键仍然是单词，值是一个列表包含每个单词的计数。
- Reduce任务接收到这些键值对列表，执行自定义的reduce函数，累加值（计数），最终输出每个单词及其对应的出现次数。

举例来说，如果输入数据是：

"the cat sat on the mat"
"the dog chased the cat"

经过Map阶段，可能得到如下的键值对：

("the", 1), ("cat", 1), ("sat", 1), ("on", 1), ("mat", 1), ("dog", 1), ("chased", 1)

Shuffle和Reduce后，输出将是：

("the", 2), ("cat", 2), ("sat", 1), ("on", 1), ("mat", 1), ("dog", 1), ("chased", 1)