设计一个hadoop命令 筛选掉公共部分 并且只输出非公共部分中的指定部分
时间: 2024-03-13 12:44:30 浏览: 57
我可以为您提供一个基于Hadoop的命令,用于筛选出非公共部分并输出指定部分:
```
hadoop fs -cat file1 file2 | sort | uniq -u | cut -f2 > output.txt
```
该命令会将两个文件 `file1` 和 `file2` 中的内容合并起来,并按行排序。然后,`uniq -u` 命令会筛选出只存在于其中一个文件中的行,并将其输出。最后,`cut -f2` 命令会只输出每行的第二个字段,您可以根据需要修改此参数。输出结果将存储在 `output.txt` 文件中。
阅读全文