)提交hadoop自带MR实例中的词频统计任务至YARN运行,统计(2)中上传文本,输出目录为hdfs用户家目录下的目录output,在终端显示词频统计的结果
时间: 2024-03-12 11:44:11 浏览: 69
基于hadoop的词频统计实例化分析与探讨+源码+文档说明+ppt
好的,您的问题是如何提交hadoop自带MR实例中的词频统计任务至YARN运行,并在终端显示词频统计的结果。以下是具体步骤:
1. 将上传的文本文件放入HDFS中的一个目录中,比如/user/hadoop/input。
2. 打开终端,运行以下命令,提交词频统计任务至YARN运行:
```
hadoop jar /path/to/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /user/hadoop/input /user/hadoop/output
```
其中,/path/to/hadoop 为hadoop安装路径,*.jar 表示选择最新的hadoop-mapreduce-examples包。wordcount为词频统计任务的类名。
3. 等待任务运行完成后,在终端输入以下命令,查看词频统计的结果:
```
hdfs dfs -cat /user/hadoop/output/*
```
以上命令将输出词频统计的结果,每一行都表示一个单词及其出现次数。
注意:以上命令中的/user/hadoop/input和/user/hadoop/output应该替换为您上传文本所在路径和输出路径。
阅读全文