通过编写一个具体的词法分析程序，加深对词法分析原理的理解。掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。

好的，词法分析是编译器中的第一个阶段，它的主要任务是将输入的源代码分解成一个个单独的单词（Token），并为每个单词分配一个对应的词法单元（Lexeme），供后续阶段使用。下面我将介绍如何编写一个简单的词法分析程序。

首先，我们需要定义一个 Token 类来存储单词和对应的词法单元类型：

class Token:
    def __init__(self, token_type, lexeme):
        self.type = token_type
        self.lexeme = lexeme

接着，我们需要定义一个词法分析器类（LexicalAnalyzer），它的主要任务是从源码中逐个读取字符，并将其转换为一个个 Token。我们可以使用 Python 的生成器函数来实现这个功能：

class LexicalAnalyzer:
    def __init__(self, source_code):
        self.source_code = source_code
        self.pos = 0

    def __iter__(self):
        return self

    def __next__(self):
        # 读取下一个字符
        if self.pos < len(self.source_code):
            c = self.source_code[self.pos]
            self.pos += 1
        else:
            raise StopIteration()

        # 根据字符类型返回对应的 Token
        if c.isalpha():
            lexeme = c
            while self.pos < len(self.source_code) and self.source_code[self.pos].isalnum():
                lexeme += self.source_code[self.pos]
                self.pos += 1
            return Token("IDENTIFIER", lexeme)
        elif c.isdigit():
            lexeme = c
            while self.pos < len(self.source_code) and self.source_code[self.pos].isdigit():
                lexeme += self.source_code[self.pos]
                self.pos += 1
            return Token("INTEGER", lexeme)
        elif c == "+":
            return Token("PLUS", c)
        elif c == "-":
            return Token("MINUS", c)
        elif c == "*":
            return Token("MULTIPLY", c)
        elif c == "/":
            return Token("DIVIDE", c)
        elif c == "(":
            return Token("LEFT_PAREN", c)
        elif c == ")":
            return Token("RIGHT_PAREN", c)
        else:
            raise ValueError("Invalid character: " + c)

在这个词法分析器中，我们使用了一个 while 循环来读取连续的字母或数字，直到遇到非字母或数字的字符为止。对于其他字符，我们直接返回对应的 Token。

现在我们可以使用这个词法分析器来解析一个简单的表达式：

source_code = "3 * (4 + 5)"
lexer = LexicalAnalyzer(source_code)
for token in lexer:
    print(token.type, token.lexeme)

输出结果如下：

INTEGER 3
MULTIPLY *
LEFT_PAREN (
INTEGER 4
PLUS +
INTEGER 5
RIGHT_PAREN )

这个程序成功地将输入的表达式分解为了各个单词，并为每个单词分配了对应的词法单元类型。这个例子只是一个简单的示例，实际的词法分析器需要考虑更多的语法规则和边界情况，但是这个例子可以帮助我们更好地理解词法分析的原理和实现方法。