Linux awk与sed命令实用教程

"LINUX的awk和sed的常用用法" 在Linux系统中，awk和sed是两种非常强大的文本处理工具，常用于数据提取、转换和报告生成。它们都是基于流编辑器，可以从输入流（通常是文件）中读取数据并进行处理。 **awk** awk是一个编程语言，主要用于处理结构化文本数据，如CSV或TSV文件。它的基本工作原理是按行扫描文件，并根据用户定义的模式（正则表达式）和动作执行相应的操作。 1. **调用awk** - **命令行方式**：`awk -F: 'commands' input-files` - **脚本文件方式**：将命令写入文件，首行添加`#!/usr/bin/awk -f`，然后执行该文件。 - **直接调用脚本文件**：`awk -f awk-script-file input-files` 2. **awk脚本结构** - **模式与动作**：模式（如正则表达式）和动作（在大括号 `{}` 内的代码）组成脚本。`BEGIN` 和 `END` 语句分别在处理数据前和处理完成后执行。 - **内置变量**： - `NF`：当前记录的域（字段）数量。 - `NR`：已读取的记录数。 - `FILENAME`：当前处理的文件名。 3. **正则表达式**： - `+`：匹配一个或多个字符。 - `?`：匹配前面的模式零次或一次。 4. **动作示例**： - 打印包含“Brown”的行：`awk '$0~/Brown/' tab2` - 显示文件名：`awk '{print NF, NR, $0} END {print FILENAME}' tab1` - 检查特定模式并打印：如果第二域包含“JLNQ”，打印完整行。 - 修改域并检查条件：如果第一个域小于等于NUM1（预定义变量），则打印行。 **sed** sed（流编辑器）主要用于行级别的替换、删除、插入等操作。它通过读取输入流，逐行处理，然后将处理结果输出。 1. **基本语法**： - `sed 'command' file`：对file中的每一行应用command。 - `sed '/pattern/command' file`：针对匹配pattern的行应用command。 2. **常见命令**： - `s/pattern/replacement/flags`：替换模式。 - `d`：删除匹配的行。 - `i`：在行前插入文本。 - `a`：在行后追加文本。 - `/pattern/q`：匹配到pattern后停止处理。 3. **例子**： - 删除包含“Brown”的行：`sed '/Brown/d' tab2` - 在每行前插入文本：`sed 's/^/PREFIX /' file` awk和sed都是Linux系统中处理文本的强大工具，可以单独或结合使用来完成复杂的文本操作。理解并熟练掌握它们的用法对于系统管理和数据分析非常重要。在实践中，可以根据具体需求灵活运用这些命令，提高工作效率。