hadoop MapReduce经典案例词频统计和数据去重的输出文件内容

Hadoop MapReduce的经典案例之一就是对文本数据进行词频统计和数据去重。这里以文本文件为例，假设我们有一个包含大量单词的文件，比如文章、博客或网页。

1. **词频统计**:
- **Map阶段**: 输入是一个行分隔的文本文件，Mapper会将每一行分割成单词，并作为键值对(如 "word:1" 对应单个词及其频率1)发送出去。
- **Reduce阶段**: Reducer收到所有相同键的值（即多个“word:1”），然后将它们相加，得到每个单词的实际出现次数，输出格式通常是 "word:count"，例如 "python:50", "java:75" 等。

2. **数据去重**:
- **Map阶段**: 这里不需要明确的键值对，因为原始数据就可能是独立的数据项，Mapper直接接收并丢弃重复项。
- **Reduce阶段**: 由于已经过了Map阶段，Reducer接收到的就是不重复的数据。它简单地将每条记录作为输出，无需额外操作，所以输出文件的内容就是去重后的数据。

对于输出文件，你可以预期看到类似这样的内容：
- 词频统计输出：

python:50
java:75
data:30
analysis:40
...

- 数据去重输出（假设输入是文本文件里的ID列表）：

123
456
789
...