编译原理:lex与yacc词法语法分析

需积分: 50 10 下载量 68 浏览量 更新于2024-07-15 收藏 633KB PDF 举报
"《lex与yacc》是关于编译原理的文档,主要讲述了词法分析工具lex和语法分析工具yacc的使用方法。文档涵盖了lex的简单程序、单词识别、lex与手写词法分析的对比,以及yacc的语法描述和分析程序的生成。此外,还提到了lex和yacc在处理结构化输入中的应用,如文本搜索程序和C编译程序。" 在编译原理中,lex和yacc是两个非常关键的工具。lex,全称为词法分析器生成器,它的作用是根据用户提供的lex规范(正则表达式)生成词法分析器,这个分析器能够快速扫描输入文本,将文本划分为有意义的单元,即标记。这些标记可以是变量名、常量、操作符等,这个过程称为词法分析。lex规范是一种强大的工具,它扩展了grep和egrep中的模式,使得匹配标记的过程更为高效。 lex生成的词法分析器通常比手写的C程序更快,因为它能迅速识别和处理大量的正则表达式。然而,词法分析仅仅是编译过程的第一步,接下来需要解析这些标记,找出它们之间的关系,这就是语法分析的职责。 yacc,全称是“Yet Another Compiler-Compiler”,是一个语法分析器生成器。它接收用户定义的Bison(yacc的现代版本)语法描述,生成能够分析这些语法的C程序,即分析程序。yacc的分析程序能够检测输入标记序列是否符合预先定义的语法规则,并在输入不符合规则时报告错误。虽然yacc生成的分析程序可能不如手写程序那么快,但它简化了语法的描述和分析程序的编写,对于大型项目来说,节省的时间和提高的可维护性是值得的。 lex和yacc的组合在处理需要结构化输入的任务中非常有效,例如编译器和解释器的开发。它们可以帮助开发者专注于编写高级的语法规则,而不是低级的扫描和匹配逻辑。文档中提及,简单的搜索程序可能只需要lex,因为它不需要进行复杂的语法分析。 在实际应用中,lex和yacc的结合使用可以实现诸如SQL分析等复杂任务,通过对输入进行词法分析和语法分析,解析出符合特定语言结构的指令或表达式。例如,对于SQL,lex可以识别出SELECT、FROM、WHERE等关键字,而yacc则负责理解这些关键字如何组合成有效的查询语句。 《lex与yacc》这份文档提供了深入的介绍,帮助读者理解和掌握这两个编译工具的使用,对于学习编译原理和进行相关软件开发的人员来说是一份宝贵的参考资料。通过阅读前五章,读者可以掌握lex和yacc的基本概念和操作,为进一步深入研究和实践打下坚实的基础。
2147 浏览量
作者: 胡彦 本框架是一个lex/yacc完整的示例,用于学习lex/yacc程序基本的搭建方法,在linux/cygwin下敲入make就可以编译和执行。 本例子虽小却演示了lex/yacc程序最常见和重要的特征: * lex/yacc文件格式、程序结构。 * 如何在lex/yacc中使用C++和STL库,用extern "C"声明那些lex/yacc生成的、要链接的C函数,如yylex(), yywrap(), yyerror()。 * 重定义YYSTYPE/yylval为复杂类型。 * 用%token方式声明yacc记号。 * 用%type方式声明非终结符的类型。 * lex里正则表达式的定义、识别方式。 * lex里用yylval向yacc返回属性值。 * 在yacc嵌入的C代码动作里,对记号属性($1, $2等)、和非终结符属性($$)的正确引用方法。 * 对yyin/yyout重赋值,以改变yacc默认的输入/输出目标。 * 如何开始解析(yyparse函数),结束或继续解析(yywrap函数)。 本例子功能是,对当前目录下的file.txt文件,解析出其中的标识符、数字、其它符号,显示在屏幕上。linux调试环境是Ubuntu 10.04。 总之,大部分框架已经搭好了,你只要稍加扩展就可以成为一个计算器之类的程序,用于《编译原理》的课程设计。 文件列表: lex.l: lex程序文件。 yacc.y: yacc程序文件。 main.hpp: 共同使用的头文件。 Makefile: makefile文件。 file.txt: 给程序解析的文本文件。 使用方法: 1-把lex_yacc_example.rar解压到linux/cygwin下。 2-命令行进入lex_yacc_example目录。 3-敲入make,这时会自动执行以下操作: (1) 自动调用flex编译.l文件,生成lex.yy.c文件。 (2) 自动调用bison编译.y文件,生成yacc.tab.c和yacc.tab.h文件。 (3) 自动调用g++编译、链接出可执行文件main。 (4) 自动执行main,得到如下结果:。 bison -d yacc.y g++ -c lex.yy.c g++ -c yacc.tab.c g++ lex.yy.o yacc.tab.o -o main id: abc id: defghi int: 123 int: 45678 op: ! op: @ op: # op: $ AllId: abc defghi 参考资料:《Lex和Yacc从入门到精通(6)-解析C-C++包含文件》, http://blog.csdn.net/pandaxcl/article/details/1321552 其它文章和代码请留意我的blog: http://blog.csdn.net/huyansoft 2013-4-27