Sed和Awk的实用案例：文本格式化和报表生成

# 1. Sed和Awk简介
## 1.1 Sed和Awk工具概述
Sed（Stream Editor）和Awk是在Unix和类Unix系统上使用的两个强大的文本处理工具，它们可以用于快速、灵活地对文本进行格式化、替换和生成报表等操作。Sed以其简洁的语法和强大的文本替换功能闻名，而Awk则以其强大的文本分割和处理能力而著称。

## 1.2 Sed的基本用法和语法
Sed通过读取输入流的方式，对文本进行逐行处理，并可以进行文本替换、删除、插入等操作。其基本语法如下：

sed 's/要替换的文本/替换后的文本/g' filename

这行代码表示对指定文件进行全局替换操作。

## 1.3 Awk的基本用法和语法
Awk是一种处理文本和数据文件的语言，其基本语法包括模式{动作}结构，如下所示：

awk '/模式/{动作}' filename

这行代码表示对指定文件根据模式执行指定的动作。

接下来，我们将深入探讨Sed和Awk在文本处理和报表生成中的应用，敬请期待后续章节的内容。

# 2. 文本格式化的Sed和Awk应用

在本章中，我们将学习如何使用Sed和Awk工具进行文本格式化。文本格式化是对文本进行修改、替换和排列的过程，是数据处理和报表生成中非常常见的一个环节。Sed和Awk提供了丰富的命令和函数，使得文本格式化变得简单高效。本章将介绍Sed和Awk的基本用法，并提供实际案例进行演示。

#### 2.1 使用Sed进行文本替换和格式化

Sed是一种流式文本编辑器，可以通过简单的命令实现对文本的修改和替换。以下是一些常用的Sed命令：

- 替换命令：使用`s/old/new/g`命令可以将文本中的old字符串替换为new字符串。例如，`sed 's/old/new/g' file.txt`可以将file.txt中的所有old替换为new。
- 删除命令：使用`d`命令可以删除匹配到的文本行。例如，`sed '/pattern/d' file.txt`可以删除file.txt中匹配到pattern的所有行。
- 插入命令：使用`i`命令可以在指定行前插入新行。例如，`sed '/pattern/i new line' file.txt`可以在匹配到pattern的行之前插入新行。

下面是一个示例，演示如何使用Sed进行文本替换和格式化：

# 将input.txt文件中的"hello"替换为"world"并输出到output.txt
sed 's/hello/world/g' input.txt > output.txt

# 删除input.txt中匹配到"foobar"的所有行并输出到output.txt
sed '/foobar/d' input.txt > output.txt

# 在input.txt中匹配到"example"的行之前插入新行"new line"并输出到output.txt
sed '/example/i new line' input.txt > output.txt

#### 2.2 使用Awk进行文本分割和格式化处理

Awk是一种强大的文本处理工具，可以按行对文本进行分割和格式化处理。Awk使用特定的模式匹配和动作组合实现文本处理的灵活性。以下是一些常用的Awk命令：

- 分割文本：使用`-F`参数指定分割符，使用`$`符号加数字表示获取分割后的字段。例如，`awk -F',' '{print $1, $2}' file.txt`可以使用逗号作为分隔符并打印第1个和第2个字段。
- 条件判断：使用条件语句可以对匹配到的行进行条件判断并执行相应的动作。例如，`awk '{if ($1>10) print $0}' file.txt`可以判断第1个字段是否大于10，如果是则打印整行。
- 数组使用：Awk中可以使用数组存储和处理数据。例如，`awk '{arr[$1]+=$2} END{for (i in arr) print i, arr[i]}' file.txt`可以按照第1个字段进行求和统计。

下面是一个示例，演示如何使用Awk进行文本分割和格式化处理：

# 使用逗号作为分隔符，并打印第1个和第2个字段
awk -F',' '{print $1, $2}' file.txt

# 判断第1个字段是否大于10，如果是则打印整行
awk '{if ($1>10) print $0}' file.txt

# 按照第1个字段进行求和统计
awk '{arr[$1]+=$2} END{for (i in arr) print i, arr[i]}' file.txt

#### 2.3 实际案例：使用Sed和Awk对日志文件进行格式化处理

让我们通过一个实际案例来演示如何使用Sed和Awk对日志文件进行格式化处理。假设我们有一个日志文件log.txt，其内容如下：

2021-01-01 12:00:00 INFO: Request received from IP 127.0.0.1
2021-01-01 12:00:01 ERROR: Connection refused to IP 192.168.0.1
2021-01-01 12:00:02 INFO: Request received from IP 10.0.0.1

我们希望将这些日志格式化为如下的表格形式：

Timestamp            | Level | Message
---------------------|-------|-----------------------------------------
2021-01-01 12:00:00  | INFO  | Request received from IP 127.0.0.1
2021-01-01 12:00:01  | ERROR | Connection refused to IP 192.168.0.1
2021-01-01 12:00:02  | INFO  | Request received from IP 10.0.0.1

我们可以使用以下的Sed和Awk命令实现这个格式化处理：

# 使用Sed添加表格边框
sed '1i\
Timestamp            | Level | Message\n---------------------|-------|-----------------------------------------\
' log.txt > temp.txt

# 使用Awk进行分割和格式化输出
awk -F':' '{print $1, $2":"$3}' temp.txt | awk '{printf "%-20s| %-5s| %s\n", $1, $2, $3}'

# 删除临时文件
rm temp.txt
``