编写一个mapreduce的wordcount程序

以下是一个简单的MapReduce WordCount程序的示例：

Map函数

def mapper(key, value):
    words = value.split()
    for word in words:
        yield word, 1

Reduce函数

def reducer(key, values):
    count = sum(values)
    yield key, count

驱动程序

from mrjob.job import MRJob

class WordCount(MRJob):
    
    def mapper(self, key, value):
        words = value.split()
        for word in words:
            yield word, 1
            
    def reducer(self, key, values):
        count = sum(values)
        yield key, count
        
if __name__ == '__main__':
    WordCount.run()

以上代码将读取文本文件中的每一行，并将其传递给Map函数。 Map函数将行拆分为单词，并在每个单词上发出键值对。 Reduce函数将相同的键键值对合并，以计算每个单词的出现次数。 最后，程序将输出每个单词和它的出现次数。

运行程序

python wordcount.py input.txt > output.txt

其中，input.txt是我们要统计单词的文本文件，output.txt是程序运行后输出的结果。