提交hadoop自带MR实例中的词频统计任务至YARN运行,统计(2)中上传文本,输出目录为hdfs用户家目录下的目录output,在终端显示词频统计的结果
时间: 2024-03-16 18:44:46 浏览: 126
基于hadoop的词频统计实例化分析与探讨+源码+文档说明+ppt
好的,让我来回答你的问题。首先,为了提交Hadoop自带MR实例中的词频统计任务至YARN运行,你需要在命令行中输入以下命令:
```
hadoop jar /path/to/hadoop-mapreduce-examples.jar wordcount /path/to/input/directory /path/to/output/directory
```
其中,`/path/to/hadoop-mapreduce-examples.jar` 是 Hadoop MapReduce 示例程序的路径,你可以在 Hadoop 安装目录下的 `share/hadoop/mapreduce` 目录中找到该文件;`wordcount` 是词频统计任务的名称;`/path/to/input/directory` 是输入目录的路径,即(2)中上传的文本所在的目录;`/path/to/output/directory` 是输出目录的路径,即 HDFS 用户家目录下的 `output` 目录。
接下来,你需要在终端中输入以下命令,以显示词频统计的结果:
```
hadoop fs -cat /path/to/output/directory/part-r-00000
```
其中,`/path/to/output/directory/part-r-00000` 是词频统计结果所在的文件路径,该文件的名称以 `part-r-00000` 结尾。这个文件包含了所有单词和它们在文本中出现的次数,你可以使用 `cat` 命令将其显示在终端中。
阅读全文