编译原理 实验一 词法分析器

词法分析器是编译器的重要组成部分，它的作用是将源代码转换成由单词序列组成的记号流，为语法分析器提供输入。在实验一中，我们可以通过编写一个简单的词法分析器来深入理解词法分析的原理和实现方法。

下面是一个简单的词法分析器的实现步骤：

1. 定义词法规则：根据编程语言的语法规则，确定各个记号的正则表达式，如标识符、关键字、运算符、常量等。

2. 读取源代码：从文件或者标准输入中读取源代码。

3. 分析源代码：对每个词法规则，使用正则表达式进行匹配，识别出单词的类型及其对应的值。

4. 输出记号流：将识别出的单词输出为记号流。

下面是一个简单的词法分析器的示例代码：

import re

# 定义词法规则
rules = [
    ('KEYWORD', r'(if|else|while|for)'),
    ('IDENTIFIER', r'[a-zA-Z_]\w*'),
    ('OPERATOR', r'(\+|-|\*|/|=|<|>)'),
    ('CONSTANT', r'(\d+(\.\d*)?|\.\d+)')
]

# 读取源代码
with open('source_code.txt') as f:
    source_code = f.read()

# 分析源代码
tokens = []
while source_code:
    match = None
    for token_type, pattern in rules:
        regex = re.compile('^' + pattern)
        match = regex.search(source_code)
        if match:
            value = match.group(0)
            tokens.append((token_type, value))
            source_code = source_code[len(value):]
            break
    if not match:
        raise ValueError('Illegal character: {}'.format(source_code[0]))

# 输出记号流
for token in tokens:
    print(token)

这个示例代码实现了一个简单的词法分析器，输入为一个源代码文件，输出为记号流。在实际编写词法分析器时，还需要考虑错误处理、注释处理、空格和换行符等边界情况。