对于两个输入文件，即文件 A 和文件 B，请编写 MapReduce 程序，对两个文件进行合并， 并剔除其中重复的内容，得到一个新的输出文件 C

MapReduce 是 Hadoop 分布式计算模型中的核心组件，它将数据处理任务分解成一系列独立的小任务，并通过集群中的多台机器并行执行，最终汇总结果。对于这个需求，我们可以设计一个简单的 MapReduce 程序：

1. Mapper阶段 (Map函数):
- 输入：文件A和B
- 输出键值对：(键, 列表值)

对于每个输入文件，Mapper会逐行读取，每一行被视为一个键（比如，如果是一个整数，可以作为键），其内容作为一个列表值。由于我们要查找重复项，所以每个键对应一个包含原始值的列表。

2. Reducer阶段 (Reduce函数):
- 输入：Mapper阶段产生的键及其对应的列表值
- 输出：键和唯一的值

Reduce函数会接收来自Mapper的所有相同键的列表，遍历列表并去除重复的值，只保留每个键的唯一值。这是去重操作的核心部分。

3. Output阶段:
- 将Reducer的结果输出到新的文件C，即只包含键及其唯一值对。

下面是伪代码示例：

// Pseudo-code for Map phase in Java using Hadoop API
class MapTask extends Mapper<LongWritable, Text, LongWritable, List<Text>> {
    private List<Text> values;
    
    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        values = Arrays.asList(value.toString().split("\n")); // Split each line into a list
        for (Text v : values) {
            context.write(key, new ArrayList<>(Arrays.asList(v))); // Emit unique key with list of values
        }
    }
}

// Pseudo-code for Reduce phase
class ReduceTask extends Reducer<LongWritable, List<Text>, LongWritable, Text> {
    public void reduce(LongWritable key, Iterable<List<Text>> values, Context context) throws IOException, InterruptedException {
        Set<Text> uniqueValues = new HashSet<>();
        for (List<Text> val : values) {
            uniqueValues.addAll(val);
        }
        context.write(key, TextUtils.join(uniqueValues)); // Write the unique value(s)
    }
}