Linux三剑客：AWK, SED, Grep详解与高效应用

sed，awk，grep

linux三剑客

需积分: 50 193 浏览量更新于2024-07-16 收藏 1.45MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

Linux三剑客，即awk、sed和grep，是Unix和Linux环境中三个强大的文本处理工具，对于提升Linux系统的文本分析和数据处理能力具有关键作用。这些工具在初学者和高级用户中都十分实用，无论是在数据筛选、格式转换还是复杂报表生成方面，都能发挥重要作用。 1. Awk命令： Awk是一种强大的文本分析工具，它结合了编程语言的功能。awk命令由模式（pattern）、动作（action）以及它们的组合构成。模式可以是简单的行号（如NR==1），也可以是复杂的正则表达式。动作则是包含在大括号中的语句，可以是一条或多条，用分号分隔。awk支持多种选项，包括设置输入字段分隔符（-F），引用代码块（-F|-f|-v），以及BEGIN和END代码块用于预处理和后处理数据。awk还可以处理来自标准输入（如键盘输入或管道）的数据，并且可以用作脚本语言编写更复杂的程序。 2. Sed命令： Sed（Stream Editor）是一种流编辑器，常用于文本流的单行修改。Sed的工作过程是逐行处理输入，提供一系列操作命令，如替换（s/old/new/p）、插入（i）、删除（d）等。它有多种选项，如查看当前行（n）、转换字符（y）、退出（q）等。Sed的正则表达式功能强大，能够实现复杂的文本搜索和替换。多重编辑（e命令）允许在当前行执行外部命令，进一步增强其灵活性。 3. Grep命令： Grep（Global Regular Expression Print）主要用于查找包含特定模式（正则表达式）的文本行。它的工作原理是扫描输入数据，根据提供的正则表达式匹配行并打印出来。Grep提供了丰富的选项，如基本的搜索模式匹配、忽略大小写、反向选择等。与管道（|）的结合使得grep成为数据过滤的强大工具。egrep是grep的一个扩展，提供了更多的正则表达式特性。 Linux三剑客不仅是基础的文本处理工具，更是深入理解Linux系统内部运作和数据处理的重要途径。熟练掌握它们，不仅能够提升工作效率，还能为进一步的系统管理和自动化任务打下坚实的基础。通过学习每个工具的特性和用法，用户可以根据具体需求灵活运用，实现各种文本处理和数据分析任务。

资源详情

资源推荐

知道了如何使用正则表达式匹配操作符之后，我们来看看 awk 正则与 grep 和 sed 不同的地

方。

awk 正则表达式

^ 匹配一个字符串的开头

$ 匹配一个字符串的结尾

在 sed 和 grep 这两个命令中，我们都把它们当作行的开头和结尾。但是在 awk 中表示的是

字符串的开头和结尾。

比较表达式作为模式

awk 是一种编程语言，能够进行更为复杂的判断，当条件为真时候，awk 就执行相关的

action。主要是针对某一区域作出相关的判断，比如打印成绩在 80 分以上的行，这样就必须对

这一区域做比较判断，下表列出了 awk 可以使用的关系运算符，可以用来比较数字，字符串，

还有正则表达式。当表达式为真时，awk 才执行相关的 action。

运算符含义示例

小于

x>y

小于等于

x<=y

等于

x==y

不等于

x!=y

大于或等于

x>=y

大于

x<y

以上运算符是针对数字或字符串的直接比较，下面两个运算符用于正则匹配：

与正则表达式匹配

x~/y/

与正则表达式不匹配

x!~y

比如，想表示一个范围，一个行的范围，就要用到 NR 这个内置变量了，同时也要用到比

较表达式。

awk 'NR>=23&&NR<=30' /etc/services

这里表达式中是数字型的关系比较。

想判断某一列是否等于某个字符，比如找出/etc/passwd 中第五列是 root 的行：

awk -F":" '$5=="root"' /server/files/awk_equal.txt

这里表达式中是字符串型的关系比较。比较的类型会根据操作数类型自动转换。

以上等价于：awk -F":" '$5~/^root$/' /server/files/awk_equal.txt

范围模式

匹配从条件 1 开始到条件 2 结束的范围。

awk 不能直接使用行号来作为范围起止地址，因为 awk 具有内置变量 NR 来存储记录号，所

以需要使用 NR==1,NR==5 这样来使用。

范围模式处理的原则是：先匹配从第一个模式的首次出现到第二个模式的首次出现之间的

内容，执行 action。然后匹配从第一个模式的下一次出现到第二个模式的下一次出现，直到文本

结束。如果匹配到第一个模式而没有匹配到第二个模式，则 awk 处理从第一个模式开始直到文

本结束全部的行。如果第一个模式不匹配，就算第二个模式匹配，awk 依旧不处理任何行。

awk '/start pos/,/end pos/{print $)} awkfile.txt

awk '/start pos/,NR==XXX{print $0}' awkfile.txt

awk 'NR==2,NR==5{print NR,$0}' awkfile.txt

awk -F":" '$5~/^bin/,/^lp/{print NR,$0}' awkfile.txt

awk -F: '$5~/^bin/,$5~/^lp/{print NR,$0}' awkfile.txt

BEGIN 和 END 模块

通常，对于每个输入行，awk 都会执行每个脚本代码块一次。然而，在许多编程情况中，

可能需要在 awk 开始处理输入文件中的文本之前执行初始化代码。对于这种情况，awk 允许

您定义一个 BEGIN 块。因为 awk 在开始处理输入文件之前会执行 BEGIN 块，所以它是初始

化 FS（字段分隔符）变量、打印页眉或初始化其它在程序中以后会引用的全局变量的极佳位

置。我们可以不要任何输入文件，就可以对 BEGIN 模块进行测试，因为 awk 需要先执行完

BEGIN 模式，才对输入文件做处理.

1）第一个作用，内置变量的定义

ifconfig eth0 | awk 'BEGIN{FS="(addr:)|( Bcast:)"} NR==2{print $2}'

ifconfig eth0 | awk 'BEGIN{FS="[ :]+"}NR==2{print $4}'

ifconfig eth0 | awk 'BEGIN{FS="[^0-9.]+"}NR==2{print $2}'

2）第二个作用，在读取文件之前，输出些提示性信息（表头）。

awk -F: 'BEGIN{print "username","UID"}{print $1,$3}' awkfile.txt

3）第三个作用，使用 BEGIN 模块的特殊性质，进行一些测试。

awk 'BEGIN{print "hello world!"}'

awk 'BEGIN{print 10/3}'

4）第四种用法：配合 getline 读取文件

awk 中变量的概念简介

直接定义，直接使用即可。

awk 中字母会被认为是变量，如果真的要给一个变量赋值字母（字符串），请使用双引号。

awk 中的变量引用不需要加$，字段引用除外（$1,$2...）。

[root@chensiqi]# awk 'BEGIN{a=abcd;print a}'

[root@chensiqi]# awk 'BEGIN{abcd=123456;a=abcd;print a}'

123456

[root@chensiqi]# awk 'BEGIN{a="abcd";print a}'

abcd

说明：

没有文件，awk 依旧可以处理 BEGIN 模式下的动作（命令）

awk 还提供了另一个特殊块，叫作 END 块。awk 在处理了输入文件中的所有行之后执行

这个块。通常，END 块用于执行最终计算或打印应该出现在输出流结尾的摘要信息。

awk 'BEGIN{print "hello world!"}{print NR,$0}END{print "end of file"}' count.txt

注意 BEGIN 或 END 模块只能有一个。BEGIN{}BEGIN{}或者 END{}END{}都是错误的。

运算符

剩余60页未读，继续阅读

执着的程序猿

粉丝: 4
资源: 13

Linux三剑客：AWK, SED, Grep详解与高效应用

Linux三剑客之【sed】.pdf

Linux三剑客

Linux服务器远程控制三剑客.pdf

linux三剑客命令详解

linux三剑客是什么意思

linux三剑客与正则表达式

Linux三剑客怎么读

linux三剑客的区别

linux三剑客grep的w参数

Linux三剑客的区别 怎么用，什么场景用

linux三剑客awk sed grep

linux三剑客正则

linux三剑客笔记

linux三剑客详解

linux三剑客实战

面试linux指令三剑客

linux三剑客sed

linux 三剑客获取ip地址

linux文本处理三剑客

普林斯顿数学三剑客pdf

最新资源

Linux三剑客的区别怎么用，什么场景用