使用python调用MapReduce Streaming 实现数据的去重、TopN和倒排索引工作

Python调用Hadoop MapReduce Streaming实现数据处理是一个常见的技术应用场景，特别是在大数据分析领域。这里主要涉及三个任务：

1. **数据去重** (Distinct): 使用MapReduce，首先通过`map`函数读取输入数据，然后对每个键值对进行检查。如果键（通常是文本行的唯一标识）之前未出现过，就输出这个键值对到中间结果。在`reduce`阶段，由于所有相同的键会被聚在一起，只需过滤掉已经出现过的键即可。

# map阶段
cat input | sort | uniq -f1 | hadoop stream -mapper 'cat' -reducer 'echo'

# reduce阶段（这里不需要额外操作，uniq -f1 已经实现了去重）

2. **Top N** (Top K Frequent Elements): 这需要先计算每个元素的频率，再通过排序找出最常见的K个元素。`map`阶段可以统计元素出现次数，`reduce`阶段合并并计数，最后外部程序（如Shell脚本）可以筛选出Top K。这通常会涉及到多次迭代，直到找到目标。

3. **倒排索引** (Inverted Index): 倒排索引是一种将文档内容映射到包含它们的关键字列表的数据结构。在`map`阶段，每条记录会被分割成单词，并输出为键值对（单词，文件名）。`reduce`阶段会收集所有的单词及其关联的文件名，形成倒排索引。

# map阶段
cat input | grep -oE '\w+' | hadoop stream -mapper 'sort | cut -d " " -f1' -reducer 'echo'

# reduce阶段
hadoop stream -mapper 'cut -d " " -f2' -reducer 'cat > inverted_index.txt'

请注意，上述命令是简化的示例，实际应用中可能需要更复杂的逻辑，比如使用自定义的mapper/reducer脚本，并可能涉及其他工具如Pig或Spark等。