哈尔滨工业大学编译原理大作业-词法分析

"哈尔滨工业大学编译原理课程的大作业，学生张志路完成，学号1160300909，2019年5月提交。作业内容涉及设计和实现一个词法分析器，基于确定有限状态自动机（DFA）技术，能识别特定类高级语言的各类单词，包括标识符、关键字、运算符、界符、常数和注释。" 在这个大作业中，张志路主要关注的是编译原理中的核心概念——词法分析。词法分析是编译器前端的一个重要阶段，它的任务是将源代码分解成一系列有意义的、独立的单元，称为单词或token。这些token是编译器后续阶段处理的基本单位。 实验目的在于设计一个能处理以下单词类型的词法分析器： 1. **标识符**：由字母、数字和下划线组成，且必须以字母或下划线开头。例如，`myVariable123`。 2. **关键字**：包括数据类型关键字（如`int`、`float`）、控制结构关键字（如`if`、`else`、`do`、`while`）以及其他关键字（如`boolean`、`void`等）。 3. **运算符**：涵盖算术运算（如`+`、`-`、`*`、`/`）、关系运算（如`<`、`>`、`==`、`!=`）、逻辑运算（如`&&`、`||`、`!`）以及位运算（如`<<`、`>>`）等。 4. **界符**：如赋值符号`=`、分号`;`、括号`()`、`[]`、`{}`等，它们在程序中起到分隔和连接的作用。 5. **常数**：包括无符号整数和浮点数，如`123`、`3.14`。 6. **注释**：支持`/*...*/`形式的多行注释。 词法分析器的设计基于DFA技术，这是一种在计算理论中用于识别正规集的模型。DFA具有确定性，对于给定的输入串，它会进入唯一的状态序列，从而决定输入是否属于预定义的语言。 系统要求能够通过文件导入测试用例，覆盖所有列出的单词类型，并能正确处理拼写错误。输出应包括符号表和token序列，以便于理解和调试。 此外，张志路的程序还扩展了功能，可以识别单个字符（`char`）和字符串（`String`）。这表明词法分析器不仅处理基本的编程元素，还能处理更复杂的文本结构。 词法分析的规则通常以正则表达式的形式给出。例如，标识符的规则是`letter_(letter_|digit)*`，表示以字母或下划线开头，后跟零个或多个字母或数字。关键字、运算符、界符、常数和注释的规则也按照类似的方式定义。 这个大作业不仅检验了学生对编译原理的理解，还考察了其实现复杂语言处理工具的能力，是计算机科学教育中的一个重要实践环节。