在idea中开发wordcount

要在 IDEA 中开发 WordCount，你需要创建一个 Maven 项目，并添加 Hadoop 和 Hadoop MapReduce 的依赖项。然后，你可以编写一个 Mapper 类和一个 Reducer 类来执行 MapReduce 任务。

以下是一个简单的 WordCount 示例：

1. 创建 Maven 项目
在 IDEA 中创建 Maven 项目，添加以下依赖项：

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.7.1</version>
    </dependency>
</dependencies>

2. 编写 Mapper 类
创建一个类，实现 Mapper 接口，并重写 map() 方法。map() 方法将输入的文本分割成单词并输出为键值对。例如：

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
        StringTokenizer tokenizer = new StringTokenizer(line);
        while (tokenizer.hasMoreTokens()) {
            word.set(tokenizer.nextToken());
            context.write(word, one);
        }
    }
}

3. 编写 Reducer 类
创建一个类，实现 Reducer 接口，并重写 reduce() 方法。reduce() 方法将相同的单词进行累加并输出结果。例如：

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}

4. 配置运行参数
在 main() 方法中配置运行参数，例如：

public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(WordCountMapper.class);
    job.setCombinerClass(WordCountReducer.class);
    job.setReducerClass(WordCountReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}

5. 运行程序
在运行程序之前，需要在 Hadoop 集群上先部署程序。在 IDEA 中打包项目，将打包好的 jar 文件上传到 Hadoop 集群上，并执行以下命令运行程序：

hadoop jar wordcount.jar input output

其中，input 是输入文件路径，output 是输出文件路径。