linux 去重命令

在Linux中，有多种工具可以用来去重数据，这里介绍两个常用的方法：

1. **uniq** 命令参数解析[^1]:
- `uniq` 是一种基本的文本处理工具，用于删除连续重复的行。它有几个选项来定制操作：
- `-c`: 统计每行出现的次数。
- `-d`: 只显示重复的行。
- `-u`: 只显示不重复的行。
- `-i`: 忽略大小写。
- `-f N`: 忽略前N个字段。

2. **awk** 去重:
- awk 是强大的脚本语言，可以用来做复杂的文本处理。对于两个文件的去重，你可以这样做：

     awk 'FNR==NR{a[$0]; next} !($0 in a)' file1.txt file2.txt

这里，`FNR==NR` 条件用于读取第一个文件（假设为file1.txt），并将每一行添加到数组`a`中。第二个文件(file2.txt)则会检查其行是否已经在`a`中，如果不在，则输出。

示例：

# 使用uniq去除一个文件的重复行
uniq -u your_file.txt

# 或者使用awk去重两个文件
awk 'FNR==NR {seen[$0]; next} !($0 in seen)' file1.txt file2.txt