c语言实现词法分析器 输出为二元形式

在C语言中实现词法分析器，通常会利用循环、数组、指针等数据结构来识别源程序中的词汇单元，也就是所谓的“词法元素”。二元形式（也叫token pair）通常用于表示分析结果，例如将关键字、标识符、常量等转换成两个组成部分：一个是标识符类型（如KEYWORD、ID、CONST），另一个是具体的值（如字符串或数值）。

以下是一个简单的例子，假设我们处理的是简单的算术表达式：

#include <stdio.h>
#include <ctype.h>

typedef struct {
    enum { KEYWORD, ID, NUMBER } type;
    union {
        char* keyword; // for keywords like "if"
        float number;   // for numbers like 3.14
    } value;
} Token;

Token lexeme(char* input) {
    Token token;
    token.type = KEYWORD;
    while (isspace(*input)) input++; // skip whitespaces

    if (isalpha(*input)) { // start of an identifier or keyword
        do {
            token.value.keyword = input++;
        } while (isalnum(*input));
        token.type = ID;
    } else if (isdigit(*input)) { // a number
        token.value.number = atof(input);
        do {
            input++;
        } while (isdigit(*input));
    } else { // unsupported character
        printf("Invalid token: %c\n", *input);
        return token;
    }

    return token;
}

int main() {
    char input[] = "3 + 4 * if";
    Token tok;

    while ((tok = lexeme(input))) {
        switch (tok.type) {
            case KEYWORD:
                printf("Keyword: %s\n", tok.value.keyword);
                break;
            case ID:
                printf("Identifier: %s\n", tok.value.keyword);
                break;
            case NUMBER:
                printf("Number: %.2f\n", tok.value.number);
                break;
        }
    }

    return 0;
}

在这个示例中，`lexeme()`函数会遍历输入字符串，检查每个字符并将其转换为相应的二元形式（Token）。当遇到非关键词、标识符或数字的字符时，程序会停止并返回无效的令牌。