使用idea 调用 MapReduce 对文件中各个单词出现的次数进行统计

首先，你需要编写 MapReduce 程序来对文件中单词出现次数进行统计。下面是一个简单的示例程序：

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {
  
  public static class TokenizerMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
      
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();
      
    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }
  
  public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();
  
    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }
  
  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

在这个程序中，`TokenizerMapper` 类将输入文件中的每行按空格分割为单词，然后将每个单词作为键，将值设置为 `1`，并发射到上下文中。

`IntSumReducer` 类对每个键的值进行求和，并将结果输出。

在 `main` 方法中，我们设置了 Mapper 和 Reducer 类、输入和输出路径，并启动了我们的作业。

接下来，你可以通过以下步骤使用 IntelliJ IDEA 来运行该程序：

1. 打开 IntelliJ IDEA，并创建一个新项目。
2. 将上述代码复制到新项目中的 `WordCount.java` 文件中。
3. 点击菜单栏中的 `File -> Project Structure`，在弹出的窗口中选择 `Libraries`，然后点击 `+` 按钮添加 Hadoop JARs。
4. 在 `Project Structure` 窗口中选择 `Artifacts`，然后点击 `+` 按钮添加一个可执行的 JAR 文件。
5. 在 `Main Class` 中输入 `WordCount`，然后点击 `OK`。
6. 点击菜单栏中的 `Build -> Build Artifacts`，然后选择 `Build`。
7. 在 `out/artifacts/WordCount_jar` 目录下找到生成的 JAR 文件。
8. 在命令行中输入以下命令来运行程序：

hadoop jar WordCount.jar <input_file_path> <output_directory_path>

注意，你需要将 `<input_file_path>` 替换为包含输入文件的路径，将 `<output_directory_path>` 替换为输出目录的路径。

当作业完成后，你可以在输出目录中找到一个包含单词计数的文件。