词法分析与单词符号：编译原理的关键步骤

编译原理是一门研究计算机程序的高级语言如何被转换为机器语言的过程，它涉及多个步骤，其中词法分析是关键的第一步。这一章详细探讨了词法分析程序的设计与实现。 词法分析程序的主要任务是逐个读入源程序的字符，并根据预定义的构词规则将它们分割成一系列单词，即编程语言的基本单元，如保留字（如`begin`, `end`）、标识符（如变量名和函数名）、常量（如数字和字符串）、运算符（如`+`, `-`, `*`等）以及标点符号（如逗号、分号和括号）。它负责过滤掉空格、跳过注释和换行符，同时还要追踪换行标志，确保错误定位的准确性，并可能执行宏展开等预处理操作。 单词符号是词法分析的输出，通常用整数编码来表示不同类型的单词，如标识符编码为1，常数为2，保留字为3，运算符为4，界符为5。例如，程序段`ifi=5thenx:=y;`经过词法分析后，会被解析为一系列的单词符号，每个符号包含单词的类别和值，如保留字`if`的编码和字符串'i'，等号`=`的编码等。 词法分析程序之所以独立设计，有几个重要原因：首先，简化了整个编译器的设计，使得各个阶段的任务更清晰；其次，提高编译效率，因为词法分析是预处理过程，可以在语法分析之前完成，减少了后续阶段的处理负担；最后，增加编译系统的可移植性，因为词法分析器只需关注输入语言的词汇结构，而无需过多依赖特定语言的语法规则，这使得同一编译器可以处理多种不同的编程语言。 此外，章节还提到了单词的描述工具——文法（Grammar），通常表示为`G=（VN，VT，P，S）`，其中`VN`代表非终结符集，`VT`代表终结符集，`P`是产生式集合，而`S`是起始符号。每个产生式的形式如`A→aB`、`A→aB`或`A→a`，反映了文法的构造规则，用于指导词法分析器如何解析源代码。 编译原理中的词法分析是语言解析的基础，通过构建适当的词法分析器，可以高效地将源代码分解为有意义的单词符号，为后续的语法分析和优化处理奠定了坚实的基础。