Hadoop wordcount 运行命令

Hadoop WordCount是一个经典的MapReduce示例，它用于统计文本文件中每个单词的出现次数。在Hadoop集群上运行WordCount，你需要通过命令行界面或者提交应用程序到YARN。以下是基本步骤：

1. **准备数据**：首先将你的文本文件上传到Hadoop的分布式文件系统（如HDFS）。例如，你可以使用`hdfs dfs -put yourfile.txt /input`。

2. **编写Mapper和Reducer**：虽然默认的WordCount实现已经包含了Mapper和Reducer，但在实际项目中，你可能需要自定义这些组件。Mapper通常读取输入，分割单词，并发射键值对（单词作为键，1作为初始值），Reducer接收键值对并计算总数。

3. **创建Job Configuration**：使用Hadoop Streaming工具，你需要配置JobConf，指定Mapper、Reducer的入口点，以及其他的设置。这可以通过下面的命令模板开始：

   hadoop jar hadoop-streaming.jar \
   -mapper "your.mapper.class" \
   -reducer "your.reducer.class" \
   -input /input \
   -output /output \
   -file yourmapper.py,yourreducer.py \
   -mapperargs "-tokenize" \
   -jobconf mapred.reduce.tasks=1

其中，`your.mapper.class`和`your.reducer.class`替换为你的Mapper和Reducer的全限定名，`-mapperargs`用于传递给Mapper的参数。

4. **运行任务**：最后，执行这个命令启动WordCount作业：

   hadoop com.example.WordCount

5. **检查结果**：WordCount完成后，可以在HDFS的/output目录下查看结果，通常是按单词排序的结果列表。