Linux shell命令：sed与awk实战指南

本文主要介绍了Linux中两个强大的文本处理工具：sed和awk的用法。sed主要用于对文本文件进行行处理，如替换、删除、新增和选取等操作，而awk则是一个功能强大的数据分析和报告生成工具，擅长处理结构化数据。 ### sed 的详细解释 #### 命令行格式 sed的命令行格式为： ``` sed [-nefri] ‘command' 输入文本 ``` - `-n`：静默模式，只输出经过处理的行。 - `-e`：在命令行上直接添加sed的动作。 - `-f`：从指定文件读取sed的动作。 - `-r`：使用扩展正则表达式。 - `-i`：直接修改原文件，不输出到屏幕。 #### 常用命令 - `a`：在指定行之后插入文本。 - `c`：替换指定行。 - `d`：删除指定行。 - `i`：在指定行之前插入文本。 - `p`：打印指定行。 - `s`：使用正则表达式进行替换。 #### 示例 - 删除某行：`sed '1d'` 删除第一行，`sed '$d'` 删除最后一行。 - 显示某行：`sed -n '1p'` 显示第一行，`sed -n '$p'` 显示最后一行。 - 使用模式匹配：通过正则表达式筛选行。 ### awk 的详细解释 #### 功能特点 awk可以处理具有分隔符的文本，如CSV或TSV文件，它可以根据指定的字段进行操作，并具有内置的字符串和数组函数。 #### 基本语法 ``` awk '条件{操作}' 文件 ``` - 条件：控制何时执行操作的表达式。 - 操作：当条件满足时执行的命令。 #### 内置变量 - `$0`：整个记录（行）。 - `$1, $2, ..., $NF`：记录中的各个字段，按默认分隔符分割。 - `NR`：已处理的行数。 - `FNR`：当前文件已处理的行数。 - `FS`：字段分隔符，默认为空格或制表符。 #### 常用函数 - `split(str, arr, sep)`：按分隔符将字符串str分割成数组arr。 - `length(str)`：返回字符串长度。 - `index(str, substr)`：返回子字符串substr在str中的位置。 - `substr(str, pos, len)`：从str中提取长度为len的子字符串，从位置pos开始。 #### 示例 - 打印指定字段：`awk '{print $1}'` 打印每行的第一个字段。 - 根据条件过滤：`awk '/模式/{print}'` 打印包含指定模式的行。 ### 结合使用 在实际工作中，sed和awk经常结合使用，形成强大的文本处理链路。例如，先使用sed预处理文本，然后用awk进行复杂的数据分析。 sed和awk是Linux系统中不可或缺的文本处理工具，它们提供了灵活且强大的功能，使得在命令行环境下对文本数据进行操作变得非常便捷。熟练掌握这两个工具，能极大提高日常的系统管理和自动化任务的效率。