【Linux文本处理】：sed和awk命令的高级用法


参考资源链接：[Linux命令大全完整版.pdf](https://wenku.csdn.net/doc/6412b5dfbe7fbd1778d44b2c?spm=1055.2635.3001.10343)
# 1. Linux文本处理基础概述

Linux文本处理是系统管理员和开发者日常工作的核心部分，它允许用户以编程方式或交互式地修改文本文件，这些文件可以是配置文件、日志文件、数据文件等。文本处理的工具十分丰富，其中最为人熟知的有`sed`和`awk`，它们提供了强大的文本流编辑和报告生成能力。

文本处理的基础在于对数据的理解和操作，用户需要熟练掌握字符、单词、行以及记录的操作。例如，通过管道将文本数据传递给不同的命令，利用正则表达式进行模式匹配，以及通过脚本实现自动化处理。

随着文本处理任务的复杂性增加，基础工具的使用就显得尤为重要。理解它们的基本命令和语法，可以极大地提高处理效率，为后续章节中深入探讨`sed`和`awk`等工具的高级用法打下坚实的基础。在本章中，我们将探索Linux文本处理的核心概念，为读者搭建一个稳固的学习框架。

# 2. sed命令的深入应用

## 2.1 sed命令核心概念解析

### 2.1.1 sed的工作原理和基本语法
`sed`（stream editor）是一种流编辑器，它以行为单位处理文本数据流，并且支持使用脚本命令来进行文本的处理和转换。`sed`命令使用一种简单易学的语法，能够对输入的文本进行一系列的处理，包括插入、删除、替换、打印等操作。

一个典型的`sed`命令包含如下基本语法结构：

sed [选项]... 脚本命令 [文件]...

其中，`选项`包括`-e`（表示要添加脚本），`-n`（表示静默模式，不自动打印模式空间的内容），`-i`（表示直接修改文件内容）等。`脚本命令`是`sed`指令的核心，它定义了要执行的操作。`文件`是要处理的文本文件。如果不指定文件，`sed`将从标准输入读取数据。

### 2.1.2 常用的sed命令选项和用法
`sed`命令有很多常用的选项，如下是一些基本选项的介绍：

- `-e script`：允许你添加多个`sed`脚本。如果多个脚本被指定，它们将按照命令行上的顺序依次执行。
- `-i[SUFFIX]`：直接修改文件内容，并可选地为修改后的文件创建备份，备份文件通常以`.SUFFIX`结尾。
- `-n`：通常情况下，`sed`会打印模式空间的内容到标准输出，使用`-n`选项后，只有被`p`命令指定的行会被打印。
- `-f script-file`：指定一个包含`sed`脚本的文件名。

例如，以下命令将文件`input.txt`中的所有行的内容反转，并输出到标准输出：

sed 's/.*/&\n/; s/\n//; h; s/\(.*\)\n.*/\1/; x; p; s/.*/\n/; x' input.txt

此脚本首先为每行添加一个新行符，然后交换模式空间与保持空间的内容，再移除新行符，并将结果打印，最后还原模式空间和保持空间的状态。

## 2.2 sed的模式空间和保持空间

### 2.2.1 模式空间的作用和操作
模式空间（Pattern Space）是`sed`处理行数据的临时工作区域。每当`sed`读取一行输入后，就会将这一行内容放入模式空间中。在模式空间内，用户可以利用各种`sed`命令对数据进行处理，例如替换、删除等。

命令`a\`, `c\`, `d`, `h`, `g`, `p`, `s` 和 `y` 等都是作用于模式空间的命令。

### 2.2.2 保持空间的使用技巧
保持空间（Hold Space）是一个辅助空间，用于临时存储数据。模式空间的内容可以被复制到保持空间中，保持空间的内容也可以复制回模式空间，但不能直接输出。

利用保持空间可以进行一些复杂的文本处理，比如，可以临时保存部分内容以便后续处理。

下面的命令示例展示了如何使用模式空间和保持空间进行数据的复制和交换：

sed -e 'h; s/one/two/; G; s/\n//'

这个命令首先将模式空间的内容复制到保持空间（`h`），然后在模式空间中把"one"替换为"two"（`s/one/two/`），接着将保持空间的内容追加到模式空间的内容之后，并且在两者之间添加一个换行符（`G`），最后删除换行符（`s/\n//`）。

## 2.3 高级sed脚本编写

### 2.3.1 脚本中的地址和范围
`sed`脚本可以指定一个地址或者地址范围来决定哪些行需要被处理。地址可以是一个行号、一个模式、或者`$`（表示最后一行）。范围由两个地址构成，由逗号分隔。

例如，以下命令将删除从第二行到第五行的所有内容：

sed '2,5d' input.txt

### 2.3.2 脚本中的命令组合和分组
在`sed`脚本中，可以组合使用多个命令，并且可以将命令分组，用花括号`{}`将命令分组后，它们会被当作一个单独的命令来执行。

以下命令将匹配到的单词"foo"替换为"bar"，并同时将行内容转换为大写：

sed -e '/foo/{ s/foo/bar/; y/a-z/A-Z/ }' input.txt

### 2.3.3 脚本的条件执行和循环控制
`sed`也支持一些基本的条件执行和循环控制。例如，`N`命令可以将下一行添加到模式空间中，这可以用来实现条件判断；而`b`命令可以跳过后续的命令，实现简单的循环控制。