简单词法分析器c++实现

简单词法分析器（也称为词法分析器或扫描器）是一种编程工具，用于将源代码分解成一系列有意义的单元，通常被称为标记（tokens）。在C++中实现词法分析器，我们通常会采用自顶向下、逐字符读取的方式，通过状态机来识别和分类输入序列。

以下是简单的步骤概述：

1. 定义词汇表：列出源语言中所有可能的标识符、关键字、运算符等，并分配它们相应的标记类型。

2. 创建状态机：设计一个状态机模型，其中每个状态对应于词汇表的一个部分。例如，开始状态可以处理空白字符，特定状态处理数字，而另一个状态处理标识符等。

3. 编写函数：编写一个主函数，从输入流（如文件或字符串）读取字符，然后根据当前状态和字符，更新状态并生成相应的标记。

4. 状态转移：基于字符的Unicode值和当前状态，确定下一步的状态以及是否产生了新的标记。

5. 输出标记：当遇到终结标记（例如换行符）或解析完成后，将生成的标记序列输出。

6. 使用堆栈或队列：有时会使用数据结构来辅助词法分析，比如存储等待匹配的左括号或对齐信息。

以下是一个非常基础的C++词法分析器的简单示例：

#include <iostream>
#include <stack>

enum class Token {
    ID,
    NUMBER,
    // 添加更多标记...
};

Token lexeme(char c) {
    if (std::isdigit(c)) return Token::NUMBER;
    // 对其他字符（如字母、符号）做进一步判断...
}

int main() {
    std::string input = "123 myVar + 45";
    std::stack<Token> tokens;

    for (char c : input) {
        if (isalpha(c)) {
            // 处理标识符...
        } else {
            tokens.push(lexeme(c));
        }
    }

    while (!tokens.empty()) {
        std::cout << "Token: " << static_cast<int>(tokens.top()) << '\n';
        tokens.pop();
    }

    return 0;
}