hadoop 词频统计数据流收集

Hadoop是一个开源的大数据处理框架，它特别适合于大规模的数据集分布式处理。在Hadoop中，统计词频是一个常见的示例，用来演示MapReduce模型的工作流程，通常用于文本分析和日志处理等场景。

Hadoop MapReduce的词频统计流程分为两个主要阶段：

1. **Map阶段**：
- 输入：源文件（例如文本文件）
- 过程：Mapper进程读取文件，将每个单词作为键（key），文件行号或文档ID作为值（value），并发送到网络中。
- 输出：每个单词及其出现次数作为一个键值对（<单词, 1>）发送。

2. **Reduce阶段**：
- 输入：Mapper阶段产生的键值对集合，按照键进行排序和归并
- 过程：Reducer进程接收到同一单词的所有计数，将它们相加得到最终的词频
- 输出：单词和总出现次数作为一个键值对（<单词, 出现次数>）。

Hadoop Streaming是一个方便的接口，可以使用任何可执行的脚本作为Mapper和Reducer，这些脚本通常使用awk、perl或Python等语言编写，这样开发者可以利用熟悉的工具处理数据。