用代码编写一个C语言词法分析器

在C语言中编写一个词法分析器通常涉及到创建一个简单的正则表达式解析器或使用预定义的库，如flex（FlexBison）工具包。下面是一个简化的示例，展示如何使用递归下降解析法来处理一些基本的C语言词法单元：

#include <stdio.h>
#include <ctype.h>

typedef enum {
    TOKEN_IDENTIFIER,
    TOKEN_NUMBER,
    TOKEN_PLUS,
    TOKEN_MINUS,
    // ... 其他token类型
} TokenType;

typedef struct {
    char *value;
    TokenType type;
} Token;

Token lexeme(const char* input) {
    Token token = {NULL, TOKEN_UNKNOWN};
    int i = 0;

    if (isdigit(input[i])) {
        while (isdigit(input[i])) {
            ++i;
        }
        token.value = malloc(sizeof(char) * (i + 1));
        strncpy(token.value, input, i);
        token.type = TOKEN_NUMBER;
    } else if (isalpha(input[i]) || input[i] == '_') {
        do {
            ++i;
        } while (isalnum(input[i]));
        token.value = malloc(sizeof(char) * (i));
        strncpy(token.value, input, i - 1);
        token.type = TOKEN_IDENTIFIER;
    }

    return token;
}

int main() {
    const char* input = "int a = 10; float b = 3.14;";
    Token current_token;
    while ((current_token = lexeme(input)) != NULL) {
        printf("Token: %s, Type: %d\n", current_token.value, current_token.type);
        free(current_token.value); // 清理内存
        input += strlen(current_token.value);
    }

    return 0;
}

这个例子仅处理了数字和标识符的识别，并未包含更复杂的语法结构。在实际项目中，你可能会需要一个完整的词法规则表和更多的函数来处理关键字、运算符等。