如何hadoop实现数据去重并显示数据出现的次数，并给出对应代码和输出结果

在Hadoop中，可以使用MapReduce框架来处理大数据集的去重操作，并计算每个唯一元素的出现次数。这里是一个简单的示例，假设我们有一个文本文件，每行代表一个待去重的数据项：

首先，我们需要创建一个Mapper阶段的函数，它将输入的每一行分割成键值对（key-value），其中键是我们关心的字段（如id、商品名等），值为1表示该条记录存在。

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class DataUniqCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String[] fields = value.toString().split("\t"); // 假设数据是逗号分隔的
        word.set(fields[0]); // 提取需要去重的字段作为键
        context.write(word, one); // 输出键值对（key: 字段值，value: 1）
    }
}

然后，在Reducer阶段，我们将所有相同的键关联在一起，并累加它们的值：

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class DataUniqCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result); // 输出最终的结果（key: 字段值，value: 出现次数）
    }
}

配置好Job Configuration，例如指定Mapper和Reducer类：

Configuration conf = new Configuration();
conf.set("mapreduce.job.output.key.class", "org.apache.hadoop.io.Text");
conf.set("mapreduce.job.output.value.class", "org.apache.hadoop.io.IntWritable");

Job job = Job.getInstance(conf, "Data Uniqueness Count");
job.setJarByClass(DataUniqCountJob.class);
job.setMapperClass(DataUniqCountMapper.class);
job.setReducerClass(DataUniqCountReducer.class);

// 其他配置如设置输入路径、输出路径等...

运行Job后，输出将会是每个独特数据项及其出现的次数。