Shell脚本：掌握正则表达式与grep、sed、awk

本文主要介绍了在Shell脚本中如何使用正则表达式、grep、sed和awk这四个工具进行文本处理和数据操作。通过学习这些基础概念和语法，你可以更有效地在Linux环境中处理命令行任务。 正则表达式是文本处理的核心工具，它允许我们以模式匹配的方式来查找、替换或分割文本。在基础正则中，`^word`用来匹配以`word`开头的行，`word$`则匹配以`word`结尾的行。`^$`表示空行，`.`代表任意单个字符，`\`作为转义字符用于取消特殊字符的含义，例如`\.`表示点字符本身。`\n`匹配换行符，`\r`匹配回车。`\w`匹配字母或数字，`*`表示前面的字符可以重复0次或多次，`.*`匹配任意数量的字符。字符集`[abc]`匹配其中的任意字符，`[^abc]`则匹配不在集合内的任何字符。此外，还可以使用范围表达式如`[1-9]`来匹配特定范围内的字符。`a\{n,m\}`表示重复n到m次的字符，扩展正则表达式中，`+`表示重复一次或多次，`?`表示重复0次或一次，`|`用于逻辑或，`( )`用于分组。 扩展正则表达式如`egrep`或`grep -E`和`sed -r`提供了更多的功能，例如`+`、`?`、`|`等，它们简化了某些模式的写法。`^linux`和`linux$`分别表示以`linux`开头和结尾的字符串，`linuxfan.`匹配`linuxfans`等单词，`coo[kl]`匹配`cool`或`cook`。`9[^5689]`匹配除5、6、8、9外的9后面跟任意数字的组合，`[0-9]{3}`匹配任意三位数，而`[0-9]{2,5}`则匹配至少两位数到最多五位数的数字。 `grep`命令用于在文件或输入流中查找与正则表达式匹配的行。例如，`grep 'pattern' file`会返回包含`pattern`的行。`grep`还有许多其他选项，如`-v`排除匹配的行，`-n`显示行号，`-c`计算匹配的行数。 `sed`是一个流编辑器，可以对输入流进行模式匹配并执行替换、删除、插入等操作。基本用法是`sed 'command' file`，例如`sed 's/pattern/replacement/' file`将文件中所有`pattern`替换为`replacement`。`sed`也支持地址范围，如`sed '/start/,/end/ s/pattern/replacement/' file`在`start`和`end`之间的行执行替换。 `awk`是一个强大的文本分析工具，它的基本形式是`awk 'pattern {action}' file`。`pattern`是匹配条件，`action`是对满足条件的行执行的操作，例如打印、修改等。`awk`内置变量如`$0`表示整行，`$1`到`$n`表示字段，`NF`是字段数量，`NR`是当前行数。`awk`的模式和动作可以结合正则表达式使用，实现复杂的文本处理任务。 通过熟练掌握这些工具，你可以在Shell脚本中处理各种文本数据，进行筛选、转换、分析等操作，大大提高工作效率。在编写Shell脚本时，灵活运用正则表达式、grep、sed和awk，能解决许多日常文本处理问题。