设计一个hadoop命令 只输出查询命令中公共路径后面的非公共的部分
时间: 2024-03-13 16:44:17 浏览: 45
在Hadoop中,我们可以使用`hadoop fs`命令行工具来操作HDFS文件系统。为了只输出查询命令中公共路径后面的非公共的部分,我们可以使用以下命令:
```bash
hadoop fs -ls /user/common/* | awk '{print substr($0, index($0,$4))}'
```
这个命令会列出`/user/common/`目录下的所有文件和目录,并使用`awk`命令来提取每行中第四个字段后面的部分,也就是非公共部分。如果想要只列出文件而不是目录,可以在`ls`命令后面加上`-p`选项。
如果想要将结果保存到一个文件中,可以使用重定向符号`>`:
```bash
hadoop fs -ls /user/common/* | awk '{print substr($0, index($0,$4))}' > output.txt
```
这样就会将结果保存到`output.txt`文件中。
阅读全文