Shell命令：高效排序与去重——sort和uniq实战

"Shell中的sort和uniq命令用于对文本数据进行排序和去除重复项，是Linux Shell脚本编程中常用的数据处理工具。" 在Linux Shell环境中，`sort`和`uniq`是两个非常实用的命令行工具，它们帮助用户有效地管理和处理文本文件中的数据。 `sort`命令的主要功能是对文本文件的行进行排序。它提供了多种选项来定制排序规则。例如： - `-n` 用于按照数值排序，而不是默认的字典顺序。 - `-r` 使排序结果反向，即从大到小排列。 - `-u` 或 `--unique` 用于去除重复的行，仅保留唯一的行。 - `-o` 后接输出文件名，可以指定排序后的结果保存到该文件，而不改变原始文件。 - `-t` 允许用户自定义字段分隔符，例如 `-t ','` 表示以逗号作为字段分隔。 - `-k` 允许指定按哪一列或字段进行排序，如 `-k 2` 表示按第二列排序，可配合 `-t` 使用。 `uniq`命令则专门用于处理排序后的数据，它能帮助找出文件中的重复行。其主要选项包括： - `-u` 显示那些在输入流中只出现一次的行，即不重复的行。 - `-d` 只显示重复出现的行。 - `-c` 在每行前显示该行在输入中出现的次数，这对于统计重复频率很有用。 举例来说，有一个名为`numbers`的文件，包含以下内容： ``` 12 2 1 3 55 5 5 354 54 0 ``` 使用`sort`命令可以对这些数字进行排序： ``` sort numbers ``` 默认情况下，这会按照字典顺序排序，即： ``` 0 1 12 2 3 354 5 5 54 55 ``` 如果希望按照数值大小排序，可以使用`-n`选项： ``` sort -n numbers ``` 结果变为： ``` 0 1 2 3 5 5 12 54 55 354 ``` 若要反向排序，可以结合使用`-r`和`-n`： ``` sort -rn numbers ``` 得到： ``` 354 55 54 12 5 5 3 2 1 0 ``` 为了去除重复行，可以先用`sort`排序，然后用`uniq -u`： ``` sort numbers | uniq -u ``` 这会显示未重复的行。如果想查看重复的行，可以使用`uniq -d`。若要统计每个数字出现的次数，可以结合`sort -n`和`uniq -c`： ``` sort -n numbers | uniq -c ``` 输出将是每行前带有计数的数字： ``` 1 0 1 1 1 2 1 3 2 5 1 12 1 354 1 54 1 55 ``` 通过熟练掌握`sort`和`uniq`命令，用户可以方便地对文本数据进行预处理，为数据分析、日志分析等任务提供便利。