词法分析器python编写

可以使用Python中的lex工具来编写词法分析器。lex工具是一个生成词法分析器的程序，它可以根据用户定义的规则生成对应的词法分析器代码。使用lex工具编写词法分析器的步骤大致如下：

1. 定义词法规则：使用正则表达式定义词法规则，例如，定义一个整数的规则为：r'\d+'。

2. 编写lex文件：在lex文件中定义词法规则，并指定对应的处理函数。

3. 生成词法分析器代码：使用lex工具生成对应的词法分析器代码。

4. 编写Python程序：在Python程序中调用生成的词法分析器代码，对输入的文本进行词法分析。

以下是一个简单的词法分析器的示例代码：

# lex文件

import ply.lex as lex

# 定义词法规则
tokens = (
    'NUMBER',
    'PLUS',
    'MINUS',
    'TIMES',
    'DIVIDE',
    'LPAREN',
    'RPAREN',
)

t_PLUS = r'\+'
t_MINUS = r'-'
t_TIMES = r'\*'
t_DIVIDE = r'/'
t_LPAREN = r'\('
t_RPAREN = r'\)'

def t_NUMBER(t):
    r'\d+'
    t.value = int(t.value)
    return t

# 忽略空格和制表符
t_ignore = ' \t'

# 处理错误
def t_error(t):
    print("Illegal character '%s'" % t.value[0])
    t.lexer.skip(1)

# 构建词法分析器
lexer = lex.lex()

# Python程序

# 输入的文本
text = "3 + 4 * 10 - 6 / 2"

# 将文本传递给词法分析器
lexer.input(text)

# 逐个获取词法单元
while True:
    tok = lexer.token()
    if not tok:
        break      # 没有更多的词法单元
    print(tok)

输出结果为：

NUMBER 3
PLUS +
NUMBER 4
TIMES *
NUMBER 10
MINUS -
NUMBER 6
DIVIDE /
NUMBER 2