MapReduce程序之求一年中的最高温度和最低温度

MapReduce程序可以用来解决大规模数据处理问题，其中包括求一年中的最高温度和最低温度。下面是一个简单的示例程序：

Map阶段：

输入数据格式：日期、温度

输入数据示例：

20190101, 10
20190101, 15
20190102, 12
20190102, 18
…

Mapper代码：

import sys

for line in sys.stdin:
    date, temp = line.strip().split(',')
    print('%s\t%s' % (date, temp))

Reduce阶段：

Reducer代码：

import sys

max_temp = -sys.maxsize
min_temp = sys.maxsize
cur_date = None

for line in sys.stdin:
    date, temp = line.strip().split('\t')
    temp = int(temp)
    if cur_date is None:
        cur_date = date
    elif cur_date != date:
        print('%s\t%s\t%s' % (cur_date, max_temp, min_temp))
        cur_date = date
        max_temp = -sys.maxsize
        min_temp = sys.maxsize
    if temp > max_temp:
        max_temp = temp
    if temp < min_temp:
        min_temp = temp

print('%s\t%s\t%s' % (cur_date, max_temp, min_temp))

输出结果格式：日期、最高温度、最低温度

输出数据示例：

20190101 15 10
20190102 18 12
…

这个程序的基本思路是，Mapper将输入数据划分为(date, temp)键值对，Reducer对每个日期的温度数据进行最大值和最小值的求解。在Reducer中，我们需要处理每个日期的所有温度数据，并找到该日期的最高温度和最低温度。最后，Reducer将每个日期的最大值和最小值作为输出键值对写入到输出文件中。