C语言词法分析器代码全能实现实例

C语言词法分析器是一种程序，用于将源代码分解成一系列更小、更易于处理的单元，通常称为“ tokens”（令牌）。它是编译器或解释器的第一步，任务是对输入的C源代码进行扫描，识别关键字、标识符、运算符、常量等基本元素。

一个简单的C语言词法分析器实现可能使用有限状态机（FSM），例如采用递归下降解析器（Recursive Descent Parser）的思想。下面是一个非常基础的示例，展示了如何使用C语言来实现一个简单的词法分析器函数，它只检查是否遇到一个有效的标识符：

#include <stdio.h>
#include <ctype.h>

// 定义标识符字符集
#define ALPHANUM 'a' - 'A'
#define MAX_ID_LEN 30

typedef struct {
    int start;
    int end;
} Token;

void lexeme(char* input) {
    char c;
    int i = 0;
    Token token;

    while ((c = input[i]) != '\0') {
        if (isalnum(c)) { // 如果是字母或数字
            token.start = i;
            i++;
        } else if (c == '_') { // 下划线也是合法的标识符字符
            if (i > token.start) { // 已经有一个非字母数字字符，则结束识别
                break;
            }
            token.start = i;
            i++;
        } else { // 非字母数字字符结束识别
            if (i - token.start > 1 && isalpha(input[token.start])) { // 检查第一个字符是否为下划线
                // 合法标识符，保存结果
                token.end = i - 1; // 减一是因为计数从0开始
                printf("Token: ID '%s'\n", input + token.start);
            } else {
                // 非法标识符，忽略并继续
                printf("Invalid character at position %d\n", i);
            }
            break;
        }
    }

    if (i - token.start > 1) { // 如果还有剩余的字符并且最后一个字符是字母
        // 没有遇到结束符，视为非法标识符
        printf("Invalid identifier at the end of input.\n");
    }
}

int main() {
    const char* example = "my_variable_123";
    lexeme(example);

    return 0;
}