用python设计一个词法分析器

在Python中设计一个词法分析器，通常会使用正则表达式、迭代器以及一些基本的数据结构如列表或堆栈。这里简单概述一个基础的词法分析过程：

1. **引入库**：首先需要`re`库来进行正则匹配。

import re

2. **定义词汇表**：列出所有预期的词法单元（tokens），如标识符、关键字、运算符等，并编写对应的正则表达式。

TOKENS = {
    'identifier': r'[a-zA-Z_][a-zA-Z0-9_]*',
    'number': r'\d+(\.\d+)?',  # 整数和浮点数
    # ... 其他token正则表达式...
}

3. **解析函数**：创建一个`analyze_tokens()`函数，它读取输入字符串并逐个检查每个字符是否匹配词汇表中的模式。

def analyze_tokens(input_str):
    tokens = []
    pattern = '|'.join(TOKENS.values())  # 使用正则表达式的"|"操作符连接所有模式
    for match in re.findall(pattern, input_str, re.DOTALL):  # DOTALL使得`.`匹配任意字符包括换行符
        if match:
            tokens.append((match.group(), TOKENS[match.group()]))  # 匹配结果和其对应的token名称
    return tokens

4. **测试**：你可以通过调用这个函数并打印结果来验证词法分析器是否工作正常。

input_code = "int x = 10.5; print(x)"
print(analyze_tokens(input_code))