Linux爱好者指南：Sed与Awk命令基础操作解析

"这篇资料主要介绍了在Linux操作系统中，如何使用Sed和Awk进行基本操作，适合初学者学习。内容包括对文本行的插入、删除、替换等常见操作，以及涉及正则表达式的高级用法。" 在Linux环境中，Sed（Stream Editor）和Awk是两个非常强大的文本处理工具，它们可以用来处理大量的文本数据，进行搜索、替换、格式化等操作。 1. Sed的基本操作： - `sed G`: 在每一行后面添加一个空行。 - `sed '/^$/d'`: 删除所有空白行。 - `sed 'G;G'`: 在每行后插入两行空行。 - `sed 'n;d'`: 删除所有但第一行，即保留文件中的第一行。 - `sed '/regex/{x;p;x;}'`: 如果当前行匹配正则表达式`regex`，则交换模式空间和保持空间，并打印模式空间，然后再次交换，这将导致正则表达式匹配的行被打印两次。 2. Awk的基本操作： - `awk '{printf("%s\n\n",$0)}'`: 打印每一行后跟着两个换行符。 - `awk '!/^$/{printf("%s\n\n",$0)}'`: 如果行非空，打印行并加两个换行符。 - `awk '{if(/regex/)printf("\n%s\n",$0);else print $0}'`: 如果行包含正则表达式`regex`，则在其前后各加一个换行符；否则，只打印原始行。 - `awk '{if(/regex/)printf("%s\n\n\n",$0);else print $0}'`: 类似于上面的操作，但在正则表达式匹配时，添加三个换行符。 3. Sed和Awk的组合使用： - 有时会先用Sed预处理文件，再通过管道传给Awk进一步处理，例如，用Sed合并相邻行然后用Awk进行处理。 4. Tab转换： - 使用Sed将文件中的换行符替换为Tab，如`sed 'N;s/\n/\t/'`，然后使用Awk进行格式化输出。 - 使用Awk去除每行开头的空格或星号，例如`sed 'N;s/^//;s/*\(.\{6,\}\)\n/\1/'`。 5. 行计数： - `sed -n '$='`: 显示文件的总行数。 - `awk '{i++}END{print i}'`: 通过Awk计算总行数。 6. 换行符转换： - Unix到DOS的换行符转换：`sed 's/.$//'` 去除末尾的LF，`sed 's/^M$//'` 删除仅含CR的行（在bash/tcsh中，用Ctrl+V然后Ctrl+M输入`^M`）。 - DOS到Unix的换行符转换：`sed 's/$/`echo-e\\\r`/'` 或者在不同的shell中使用不同的方法来添加CR字符。 7. 其他： - `sed 's/\x0D$//'`: 使用ASCII码 `\x0D` 来匹配并删除CR字符，适用于较旧版本的Sed。 - `awk '{sub(/\x0D$/,"");print $0}'`: 使用Awk删除末尾的CR字符。 通过这些基本操作，你可以处理各种文本格式问题，进行数据分析和文件格式转换。熟练掌握Sed和Awk的使用，对于Linux系统的日常管理和自动化任务是非常有帮助的。