词法分析程序的基本功能有哪些?词法分析的性质是什么?
时间: 2024-05-25 22:13:39 浏览: 103
词法分析程序的基本功能是将源程序中的字符序列转换成有意义的单词序列,即词法单元(Token)序列,同时识别并记录每个单词的类型和属性。词法分析器的主要任务是将输入的字符流转换成标记流,即将输入的文本分解成有意义的词法单元(token),并为每个词法单元赋予一个类型码,供后续的语法分析和语义分析使用。
词法分析的性质是无状态性和最大匹配性。无状态性指的是,词法分析器只能根据当前输入的字符来判断当前词法单元的类型,而不能根据之前或之后的输入来改变判断结果。最大匹配性指的是,词法分析器会尽可能地将连续的字符序列匹配成一个最长的合法单词,即在匹配一个单词时,会一直向后匹配,直到遇到一个不能再加入该单词的字符为止。
阅读全文