词法分析与自动机：单词符号、编码与输出形式详解

在"编译原理3词法分析与自动机"的章节中，主要讨论了词法分析程序在计算机编程中的核心作用。词法分析程序负责将源代码（字符串表示）分解成有意义的单词符号，这些符号包括关键字、标识符、常数、运算符和界符。其主要功能是识别并按照预定义的规则转换这些符号为结构化的数据，便于后续的语法分析。 首先，3.1节明确了词法分析器的工作流程，它逐个读取源代码中的字符，并根据语言规则识别出单词符号。例如，关键字如"if", "else", "while", "do"会被识别出来，而标识符则是程序中各种命名的集合。 3.2节重点介绍了单词符号及其输出形式。单词符号有五种常见形式，分别是关键字、标识符、常数、运算符和界符。编码方式可以灵活处理，如统一将基本字作为一类，或者单独为每个字符分配一个编码。单词属性值的确定方法根据不同单词的特性来设定，单个单词种别编码可能直接代表其值，多义词则需提供额外的单词自身值，如标识符为字符串形式，常数为二进制数值。 举例说明，假设对程序段`if(a>1)b=100;`的词法分析结果，会输出一系列的（单词种别编码，单词自身值）对，如（2，）代表"if"，（10，'a'）代表标识符"a"，（17，）代表运算符">"，（11，1的二进制）代表常数1，等等。 3.3节进一步探讨了语言单词符号的定义方式，主要通过正规式和正规集的概念来描述。正规式是用特定规则构造的字符串模式，可以用来描述一组字符串，而正规集就是由正规式所确定的所有字符串集合。定义规则包括空串和空集的处理，以及串的连接和选择操作，这些都是构建词法分析器的基础。 总结来说，本章节的核心知识点在于理解词法分析器如何解析源代码，如何为单词符号编码并确定其属性值，以及如何使用正规式和正规集来描述和设计词法规则。掌握这些概念有助于深入理解编译器的工作原理，特别是对于编程语言的设计者和开发者来说，词法分析是实现高级语言处理的关键步骤。