centos7统计单词数量hadoop

在 CentOS 7 系统上，你可以使用 Hadoop 的 MapReduce 框架以及相关的命令行工具来统计文本文件中单词的数量。以下是简单的步骤：

1. **安装Hadoop**:
- 首先，你需要确保已经安装了Hadoop，如果没有，可以按照官方文档（https://hadoop.apache.org/docs/stable/Hadoop-MapReduce-Guide/getting-started.html）的指示进行安装。

2. **准备数据**:
- 将需要统计的文本文件放入Hadoop的输入目录（通常是`/input`），例如`/input/mytextfile.txt`。

3. **编写Mapper任务**:
- 使用Hadoop Streaming，你可以编写一个 mapper脚本来提取每个单词。例如，一个简单的 mapper可能如下：

     cat /input/mytextfile.txt | tr ' ' '\n' | sort | uniq -c > wordcount.txt

这里，`tr`将所有空格替换为换行符，然后`sort`排序，最后`uniq -c`计算每个单词出现的次数并将其添加到`wordcount.txt`。

4. **运行MapReduce任务**:
- 使用Hadoop命令来运行这个任务，假设你已经在`wordcount.txt`中设置了输出路径，可以这样运行：

     hadoop jar $HADOOP_HOME/hadoop-streaming.jar -mapper "cat | tr ' ' '\n' | sort" -reducer "awk '{print $1}'" -input /input/mytextfile.txt -output /output/wordcount

5. **查看结果**:
- 输出目录通常会包含一个名为`part-r-00000`的文件，这是汇总的结果。你可以打开它查看单词及其计数。

注意：以上步骤适用于基本的单机模式，如果你是在分布式环境中，比如YARN或Hadoop集群，那么流程会稍微复杂一些，并且需要配置相应的资源。