Hadoop数据去重

Hadoop数据去重可以通过MapReduce程序实现。具体的实现方式是，在Map阶段对每个数据进行处理并输出，输出的key为数据本身，value为一个常量。在Reduce阶段，对相同key的数据只输出一条记录，即可实现数据去重。

具体步骤如下：
1. 在Map阶段，将每条数据作为输入，输出<key, value>键值对，其中key为数据本身，value为一个常量。
2. 在Reduce阶段，将相同key的value合并成一个列表，并将key输出到结果文件中。