掌握词法分析原理与程序设计

需积分: 48 15 下载量 90 浏览量 更新于2025-01-07 2 收藏 408KB RAR 举报
资源摘要信息:"实验一 编译原理 词法分析" 编译原理是计算机科学中一个重要的领域,它涉及将高级语言编写的程序转换成机器能理解的指令的过程。词法分析是编译过程中的第一阶段,它的主要任务是读入源程序的字符序列,将它们组织成有意义的词素序列,并为每个词素生成相应的词法单元(token)。本实验的目的在于通过实践加深对词法分析原理的理解,并掌握如何在编程语言的源代码扫描过程中将文本分解为不同的单词类别。 实验的具体内容包括: 1. 设计并实现一个词法分析器,能够从给定的源程序中识别出基本保留字、标识符、常数、运算符和分隔符等五大类单词。 2. 对于每个识别出的单词,词法分析器需要输出该单词的内部编码和单词符号的自身值。 3. 当遇到无法识别的字符序列时,分析器应能输出“Error”,同时跳过错误部分并继续显示后续的单词。 为了达成上述目标,实验参与者需要具备以下知识点和技能: - 理解编译器前端的工作原理,特别是词法分析器的角色和作用。 - 掌握有限状态自动机(Finite State Automata, FSA)或正则表达式的概念,并能将其应用于词法分析器的设计。 - 熟悉编程语言中标识符、常数、保留字、运算符和分隔符的定义和规则。 - 具备编写程序以读取和处理文本文件的能力,通常需要使用某种编程语言(例如C++、Java或Python)。 - 了解如何使用开发工具(如本实验指定的DEVC++)进行代码的编写、编译、调试和运行。 - 掌握基本的错误处理方法,以确保词法分析器在遇到非法字符或格式错误时能够正确响应。 在实验中,参与者应生成包含以下内容的代码: - 一个主函数,用于控制词法分析的流程。 - 函数或类,用于识别和处理各类单词。这可能包括: - 一个函数用于识别和输出保留字。 - 一个函数用于识别和输出标识符。 - 一个函数用于识别和输出常数。 - 一个函数用于识别和输出运算符。 - 一个函数用于识别和输出分隔符。 - 一个或多个辅助函数,用于处理输入的字符流,例如移除空白、注释以及进行错误检查和恢复。 - 注释应该详细地描述每个函数或代码块的作用,以便于理解和维护代码。 完成实验后,参与者应该能够展示出对词法分析器设计和实现的深刻理解,包括对输入源程序的正确分解,以及如何生成和使用词法单元。此外,应能够解释在编写词法分析器时遇到的问题和如何解决这些问题。 综上所述,本次实验是一次对编译原理中词法分析环节的深入学习和实践,旨在通过动手编写代码来巩固理论知识,并提升实际编程能力。
1762 浏览量
一、实验目的: 通过设计编制调试一个具体的词法分析程序,加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 编制一个读单词过程,从输入的源程序中,识别出各个具有独立意义的单词,即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。(遇到错误时可显示“Error”,然后跳过错误部分继续显示) 二、实验预习提示 1、词法分析器的功能和输出格式 词法分析器的功能是输入源程序,输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码,单词符号的属性值)。本实验中,采用的是按类来安排种别码的方式。 2、部分单词的BNF表示(可参考教材43页的状态转换图) -> ->|| |ε -> -> |ε -> + -> - -> > -> >= 3、 做词法分析器需要把对象语言的词法全部描述出来,在这我们取C语言子集,它的词法如下: (1)关键字 main if else int return void while…….. 所有的关键字都是小写。 (2)专用符号 = + - * / <= > >= == != ; : , { } [ ] ( ) (3)空格和空白、制表符和换行符。 空格一般用来分隔ID、NUM、专用符号和关键字,在词法分析阶段通常被忽略。 各种单词符号的种别码,这是一种符号一个编码的设计。只供参考! 单词符号 种别码 单词符号 种别码 main 2 [ 28 int 1 ] 29 char 3 { 30 If 4 } 31 else 5 , 32 for 6 : 33 while 7 ; 34 ID 10 > 35 NUM 20 = 37 + 22 +”,当前字符为’>’,此时,分析器倒底是将其分析为大于关系运算符还是大于等于关系运算符呢?显然,只有知道下一个字符是什么才能下结论。于是分析器读入下一个字符’+’,这时可知应将’>’解释为大于运算符。但此时,超前读了一个字符’+’,所以要回退一个字符,词法分析器才能正常运行。在分析标识符,无符号整数等时也有类似情况。 5、模块结构 见附图 三、实验过程和指导: (一)准备: 1.阅读课本有关章节,明确语言的语法,写出基本保留字、标识符、常数、运算符、分隔符和程序例。 2.编制好程序。 3.准备好多组测试数据。 (二)上机调试: (三)程序要求: 程序输入/输出示例: 如源程序为C语言。输入如下一段: main() { int a,b; a = 10; b = a + 20; } 要求输出如右图。 (2,“main”) (5,“(” ) (5,“ )” ) (5,“{ ” ) (1,“int” ) (2,“a” ) (5,“,” ) (2,“b” ) (5,“;” ) (2,“a” ) (4,“=” ) (3,“10” ) (5,“;” ) (2,“b” ) (4,“=” ) (2,“a” ) (4,“+” ) (3,“20” ) (5,“;” ) (5,“}” ) 说明: 识别保留字:if、int、for、while、do、return、break、continue; 单词种别码为1。 其他的都识别为标识符;单词种别码为2。 常数为无符号整形数;单词种别码为3。 运算符包括:+、-、*、/、=、>、=、<=、!= ;单词种别码为4。 分隔符包括:,、;、{、}、(、); 单词种别码为5。 以上为参考,具体可自行增删。 程序思路(参考): 这里以开始定义的C语言子集的源程序作为词法分析程序的输入数据。在词法分析中,自文件头开始扫描源程序字符,一旦发现符合“单词”定义的源程序字符串时,将它翻译成固定长度的单词内部表示,并查填适当的信息表。 经过词法分析后,源程序字符串(源程序的外部表示)被翻译成具有等长信息的单词串(源程序的内部表示),并产生两个表格:常数表和标识符表,它们分别包含了源程序中的所有常数和所有标识符。 0.定义部分:定义常量、变量、数据结构。 1.初始化:从文件将源程序全部输入到字符缓冲区中。 2.取单词前:去掉多余空白。 3.取单词后:去掉多余空白(可选,看着办)。 4.取单词:利用实验一的成果读出单词的每一个字符,组成单词,分析类型。(关键是如何判断取单词结束?取到的单词是什么类型的单词?) 5.显示结果。 为了设计好程序,注意以下事情: 1.模块设计:将程序分成合理的多个模块(函数),每个模块做具体的同一事情。 2.写出(画出)设计方案:模块关系简图、流程图、全局变量、函数接口等。 3.编程时注意编程风格:空行的使用、注释的使用、缩进的使用等。