提交hadoop自带MR实例中的grep任务至YARN运行,统计(2)目录下的文件中包含字符串“dfs[a-z.]+”,输出目录为hdfs中的目录out,在终端显示grep运行的结果
时间: 2024-03-12 10:44:25 浏览: 106
以下是提交Hadoop自带MR实例中的grep任务至YARN运行,统计(2)目录下的文件中包含字符串“dfs[a-z.]+”,输出目录为HDFS中的目录out,并在终端显示grep运行结果的命令:
```
hadoop jar /path/to/hadoop-mapreduce/hadoop-mapreduce-examples.jar grep /input/out /output 'dfs[a-z.]+'
```
其中,`/path/to/hadoop-mapreduce`是您的Hadoop MapReduce安装路径。如果您的Hadoop环境已经正确配置,该命令会将grep任务提交到YARN运行,并将结果输出到HDFS的`/output`目录中。您可以使用以下命令来查看grep运行的结果:
```
hadoop fs -cat /output/*
```
该命令会显示`/output`目录下的所有文件的内容,其中包括grep任务的输出结果。如有需要,您还可以使用以下命令将结果下载到本地文件系统中:
```
hadoop fs -get /output/* /path/to/local/output
```
该命令会将`/output`目录下的所有文件下载到本地文件系统的`/path/to/local/output`目录中。
相关问题
提交hadoop自带MR实例中的词频统计任务至YARN运行,统计(2)中上传文本,输出目录为hdfs用户家目录下的目录output,在终端显示词频统计的结果
好的,让我来回答你的问题。首先,为了提交Hadoop自带MR实例中的词频统计任务至YARN运行,你需要在命令行中输入以下命令:
```
hadoop jar /path/to/hadoop-mapreduce-examples.jar wordcount /path/to/input/directory /path/to/output/directory
```
其中,`/path/to/hadoop-mapreduce-examples.jar` 是 Hadoop MapReduce 示例程序的路径,你可以在 Hadoop 安装目录下的 `share/hadoop/mapreduce` 目录中找到该文件;`wordcount` 是词频统计任务的名称;`/path/to/input/directory` 是输入目录的路径,即(2)中上传的文本所在的目录;`/path/to/output/directory` 是输出目录的路径,即 HDFS 用户家目录下的 `output` 目录。
接下来,你需要在终端中输入以下命令,以显示词频统计的结果:
```
hadoop fs -cat /path/to/output/directory/part-r-00000
```
其中,`/path/to/output/directory/part-r-00000` 是词频统计结果所在的文件路径,该文件的名称以 `part-r-00000` 结尾。这个文件包含了所有单词和它们在文本中出现的次数,你可以使用 `cat` 命令将其显示在终端中。
)提交hadoop自带MR实例中的词频统计任务至YARN运行,统计(2)中上传文本,输出目录为hdfs用户家目录下的目录output,在终端显示词频统计的结果
好的,您的问题是如何提交hadoop自带MR实例中的词频统计任务至YARN运行,并在终端显示词频统计的结果。以下是具体步骤:
1. 将上传的文本文件放入HDFS中的一个目录中,比如/user/hadoop/input。
2. 打开终端,运行以下命令,提交词频统计任务至YARN运行:
```
hadoop jar /path/to/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /user/hadoop/input /user/hadoop/output
```
其中,/path/to/hadoop 为hadoop安装路径,*.jar 表示选择最新的hadoop-mapreduce-examples包。wordcount为词频统计任务的类名。
3. 等待任务运行完成后,在终端输入以下命令,查看词频统计的结果:
```
hdfs dfs -cat /user/hadoop/output/*
```
以上命令将输出词频统计的结果,每一行都表示一个单词及其出现次数。
注意:以上命令中的/user/hadoop/input和/user/hadoop/output应该替换为您上传文本所在路径和输出路径。
阅读全文