词法分析程序设计实验

词法分析是编译器的第一个阶段，它的主要任务是将源程序中的字符序列分解成有意义的词素序列（即单词），并将每个词素分类为一种词法单元。词法分析程序通常由两部分组成：

1. 词法规则定义：定义每种词法单元的模式或正则表达式，例如标识符、数字、运算符等。

2. 词法分析器实现：根据词法规则定义，将输入的源程序逐个字符扫描，并匹配识别出各个词法单元。

下面是一个简单的词法分析程序设计实验：

实验要求：设计一个词法分析程序，对以下语言进行词法分析：变量名只能由字母和数字组成，必须以字母开头；数字只包含整数，不包含小数；运算符包括加、减、乘、除，分号用于表示语句结束。

样例输入：

x = 10 + y * 2;

样例输出：

变量名：x
赋值运算符：=
数字：10
加运算符：+
变量名：y
乘运算符：*
数字：2
分号：;

实验步骤：

1. 定义词法规则，包括标识符、数字、运算符和分号的正则表达式。

ID = [a-zA-Z][a-zA-Z0-9]*
NUM = [0-9]+
OP = [+|\-|\*|\/]
SEMICOLON = [\;]

2. 实现词法分析器，逐个字符扫描输入的源程序，并匹配识别出各个词法单元。

import re

def lexer(input_string):
    tokens = []
    while input_string:
        # 匹配标识符
        if re.match(ID, input_string):
            match = re.match(ID, input_string)
            tokens.append(('变量名', match.group(0)))
            input_string = input_string[len(match.group(0)):]
        # 匹配数字
        elif re.match(NUM, input_string):
            match = re.match(NUM, input_string)
            tokens.append(('数字', match.group(0)))
            input_string = input_string[len(match.group(0)):]
        # 匹配运算符
        elif re.match(OP, input_string):
            match = re.match(OP, input_string)
            tokens.append(('运算符', match.group(0)))
            input_string = input_string[len(match.group(0)):]
        # 匹配分号
        elif re.match(SEMICOLON, input_string):
            match = re.match(SEMICOLON, input_string)
            tokens.append(('分号', match.group(0)))
            input_string = input_string[len(match.group(0)):]
        else:
            # 无法匹配的字符，跳过
            input_string = input_string[1:]
    return tokens

3. 对样例输入进行词法分析，并输出结果。

input_string = 'x = 10 + y * 2;'
tokens = lexer(input_string)
for token in tokens:
    print(token[0] + ':', token[1])

输出结果：

变量名: x
赋值运算符: =
数字: 10
加运算符: +
变量名: y
乘运算符: *
数字: 2
分号: ;

至此，我们完成了一个简单的词法分析程序设计实验。