高级语言源程序词法分析指南

"程序设计综合课程设计指导-源程序格式处理1" 在程序设计中，源程序格式处理是一项基础且重要的任务，它涉及到程序的词法分析、语法分析等多个环节。本指导主要关注词法分析这一阶段，它是编译器或解释器的第一步，负责将源代码分解成一个个有意义的单元——单词（Token）。以下是对这部分内容的详细说明： 1. **词法分析**：词法分析是编译器前端的关键部分，它的主要任务是将源代码文本流分解成一系列的单词，这些单词代表了编程语言的基本元素，如标识符（IDENT）、关键字（如INT、FLOAT、CHAR）、常量（INT_CONST、FLOAT_CONST、CHAR_CONST）、运算符（如.EQ、ASSIGN）和定界符（如LP、RP、SEMI、COMMA）。词法分析器通过扫描源代码并匹配预定义的模式来识别这些单词。 2. **单词种类编码**：为了唯一地标识每个单词的种类，可以使用枚举类型（enum token_kind）来定义各种单词的编码。例如，枚举常量IDENT代表标识符，INT_CONST代表整型常数，INT代表关键字“int”，LP和RP分别表示左括号和右括号，以此类推。每个枚举常量对应一个整数值，使得程序可以通过这个整数值来区分不同类型的单词。 3. **单词自身值**：除了种类编码，词法分析器还需要保存某些单词的自身值，如标识符的字符串形式或常量的数值。这通常通过一个全局变量token_text实现，它是一个字符数组，用于存储识别到的单词的具体内容。例如，如果识别到标识符“abc”，token_text会保存字符串"abc"；如果是数字常量123，token_text则保存"123"。 4. **状态转换图**：词法分析的流程通常可以用状态机来描述，状态转换图是这种机制的可视化表示。在这个例子中，从状态0开始，每次读取一个字符并根据字符的性质转移到相应的状态。当达到一个环形状态（结束状态）时，表明一个完整的单词被识别出来，返回对应的编码。星号标注的结束状态表示多读了一个字符，这个字符可能属于下一个单词，因此需要将其回退到输入缓冲区，以便后续处理。 5. **词法分析函数**：gettoken函数是实现词法分析的主体，它接收一个指向源文件的指针（fp），初始化单词自身值token_text为空，然后过滤掉空白字符。当遇到字母时，函数会进入识别标识符的状态，将连续的字母字符添加到token_text中。对于其他字符，函数会根据状态转换图进行相应操作，直到成功识别一个单词并返回其编码。 6. **错误处理**：在实际的词法分析过程中，还需要考虑错误处理，比如处理非法字符或未预期的符号。在上述描述中，虽然没有详细提及错误处理，但在处理源代码时，应确保能正确报告和处理这些异常情况。 源程序格式处理1的指导内容主要围绕词法分析展开，涉及单词的分类、编码、自身值存储以及基于状态转换图的识别过程。通过学习和实现这些概念，学生可以理解程序设计的基本步骤，并为后续的语法分析和编译过程打下基础。