词法分析器python

词法分析器是编译原理中的一个重要组成部分，它的主要作用是将源代码转化成一个个的Token。在Python中，可以使用lex工具来实现词法分析。

lex是一个生成词法分析器的工具，它使用正则表达式来定义每个Token的规则。使用lex，可以将源代码文件作为输入，然后输出一个Token序列，供后续的语法分析器使用。

下面是一个简单的Python词法分析器的示例：

import ply.lex as lex

# 定义Token规则
tokens = (
    'NAME', 'NUMBER',
)

# 定义Token的正则表达式规则
t_NAME = r'[a-zA-Z_][a-zA-Z0-9_]*'
t_NUMBER = r'\d+'

# 定义忽略的字符（空格和制表符）
t_ignore = ' \t'

# 定义错误处理函数
def t_error(t):
    print("Illegal character '%s'" % t.value[0])
    t.lexer.skip(1)

# 创建词法分析器
lexer = lex.lex()

# 测试
data = '''
    x = 3 + 4 * 5
    y = x / 2
'''
lexer.input(data)
for token in lexer:
    print(token)

运行结果：

Token('NAME', 'x')
Token('=', '=')
Token('NUMBER', '3')
Token('+', '+')
Token('NUMBER', '4')
Token('*', '*')
Token('NUMBER', '5')
Token('NAME', 'y')
Token('=', '=')
Token('NAME', 'x')
Token('/', '/')
Token('NUMBER', '2')

在这个示例中，我们定义了两个Token规则：NAME和NUMBER，然后使用正则表达式定义了它们的规则。t_ignore是用来忽略空格和制表符的。

当词法分析器遇到不符合规则的字符时，会调用t_error函数进行错误处理。在这个示例中，我们只是简单地打印了错误信息并跳过了这个字符。

最后，我们创建了一个lexer对象，然后将源代码输入到lexer中，逐个输出生成的Token。