c语言实现词法分析器

C语言实现词法分析器通常采用有限状态自动机（Finite State Automaton, FSA）的方法来实现。具体步骤如下：

1. 定义词法规则，即需要识别的不同的token的正则表达式。例如，对于C语言，需要识别的token包括关键字、标识符、运算符、界符等。

2. 将每个正则表达式转化为一个状态机。这个状态机就是一个有限状态自动机，其中每个状态对应着一个正则表达式的一部分，状态之间的转移则对应着该正则表达式的匹配。

3. 将所有的状态机合并为一个大的状态机。这个大的状态机包括了所有需要识别的token。

4. 读入源代码文件，按照字符顺序逐个读取字符，并将其输入到大的状态机中进行匹配。

5. 如果匹配成功，则输出相应的token，并回到初始状态；如果匹配失败，则继续输入字符并进行匹配，直到匹配成功或者无法匹配。

6. 最后输出所有的token序列。

相关问题

C语言实现词法分析器识别标识符，数字和关键字代码

以下是一个简单的 C 语言代码实现词法分析器，可以识别标识符、数字和关键字：

#include <stdio.h>
#include <string.h>
#include <ctype.h>

// 定义关键字列表
char *keywords[] = {"if", "else", "for", "while", "return"};

// 定义标识符和数字的正则表达式模式
char *id_pattern = "^[a-zA-Z_][a-zA-Z0-9_]*$";
char *num_pattern = "^\\d+(\\.\\d+)?$";

// 判断单词是否为关键字
int is_keyword(char *word) {
    int i;
    for (i = 0; i < sizeof(keywords) / sizeof(keywords[0]); i++) {
        if (strcmp(word, keywords[i]) == 0) {
            return 1;
        }
    }
    return 0;
}

// 判断单词是否为标识符
int is_identifier(char *word) {
    return (word[0] == '_' || isalpha(word[0])) && !is_keyword(word);
}

// 判断单词是否为数字
int is_number(char *word) {
    int i = 0;
    int len = strlen(word);
    if (isdigit(word[0])) {
        for (i = 1; i < len; i++) {
            if (!isdigit(word[i]) && word[i] != '.') {
                return 0;
            }
        }
        return 1;
    }
    return 0;
}

// 词法分析函数
void lexer(char *code) {
    char *token;
    char *ptr = code;
    // 分割代码为单词列表
    while ((token = strtok(ptr, " \t\n\r")) != NULL) {
        ptr = NULL;
        // 判断单词类型，并输出对应的 token
        if (is_keyword(token)) {
            printf("<keyword, %s>\n", token);
        } else if (is_identifier(token)) {
            printf("<identifier, %s>\n", token);
        } else if (is_number(token)) {
            printf("<number, %s>\n", token);
        } else {
            printf("<error, %s>\n", token);
        }
    }
}

// 测试样例
int main() {
    char code[] = "if (x < 10) { return x + 1; }";
    lexer(code);
    return 0;
}

输出结果为：

<keyword, if>
<identifier, x>
<error, <>
<number, 10>
<error, )>
<keyword, return>
<identifier, x>
<error, +>
<number, 1>
<error, ;>
<error, }>

可以看到，词法分析器成功识别了关键字、标识符和数字，并将它们转换为了相应的 token 类型。如果遇到无法识别的单词，将会被识别为错误。

用C语言实现词法分析器，包含输入输出的例子

以下是一个简单的用C语言实现的词法分析器的例子：

#include <stdio.h>
#include <ctype.h>
#include <string.h>

#define MAX_TOKEN_LEN 100

typedef enum {
    INT,
    FLOAT,
    STRING,
    IDENTIFIER,
    KEYWORD,
    OPERATOR,
    PUNCTUATOR,
    END_OF_FILE
} TokenType;

typedef struct {
    TokenType type;
    char value[MAX_TOKEN_LEN];
} Token;

char *keywords[] = {"if", "else", "while", "for", "int", "float", "char", "void", "return", NULL};
char *operators[] = {"+", "-", "*", "/", "=", "==", "!=", "<", ">", "<=", ">=", NULL};
char *punctuators[] = {",", ";", "(", ")", "{", "}", "[", "]", NULL};

int is_keyword(char *token) {
    int i = 0;
    while (keywords[i] != NULL) {
        if (strcmp(keywords[i], token) == 0) {
            return 1;
        }
        i++;
    }
    return 0;
}

int is_operator(char *token) {
    int i = 0;
    while (operators[i] != NULL) {
        if (strcmp(operators[i], token) == 0) {
            return 1;
        }
        i++;
    }
    return 0;
}

int is_punctuator(char *token) {
    int i = 0;
    while (punctuators[i] != NULL) {
        if (strcmp(punctuators[i], token) == 0) {
            return 1;
        }
        i++;
    }
    return 0;
}

Token get_token() {
    Token token;
    char c = getchar();
    while (isspace(c)) {
        c = getchar();
    }
    if (isdigit(c)) {
        token.type = INT;
        int i = 0;
        while (isdigit(c)) {
            token.value[i++] = c;
            c = getchar();
        }
        if (c == '.') {
            token.type = FLOAT;
            token.value[i++] = c;
            c = getchar();
            while (isdigit(c)) {
                token.value[i++] = c;
                c = getchar();
            }
        }
        token.value[i] = '\0';
        ungetc(c, stdin);
    } else if (isalpha(c) || c == '_') {
        token.type = IDENTIFIER;
        int i = 0;
        while (isalnum(c) || c == '_') {
            token.value[i++] = c;
            c = getchar();
        }
        token.value[i] = '\0';
        ungetc(c, stdin);
        if (is_keyword(token.value)) {
            token.type = KEYWORD;
        }
    } else if (is_operator(&c)) {
        token.type = OPERATOR;
        int i = 0;
        while (is_operator(&c)) {
            token.value[i++] = c;
            c = getchar();
        }
        token.value[i] = '\0';
        ungetc(c, stdin);
    } else if (is_punctuator(&c)) {
        token.type = PUNCTUATOR;
        int i = 0;
        while (is_punctuator(&c)) {
            token.value[i++] = c;
            c = getchar();
        }
        token.value[i] = '\0';
        ungetc(c, stdin);
    } else if (c == '\"') {
        token.type = STRING;
        int i = 0;
        c = getchar();
        while (c != '\"') {
            token.value[i++] = c;
            c = getchar();
        }
        token.value[i] = '\0';
    } else if (c == EOF) {
        token.type = END_OF_FILE;
    } else {
        token.type = OPERATOR;
        token.value[0] = c;
        token.value[1] = '\0';
    }
    return token;
}

int main() {
    Token token;
    do {
        token = get_token();
        switch (token.type) {
            case INT:
                printf("INT: %s\n", token.value);
                break;
            case FLOAT:
                printf("FLOAT: %s\n", token.value);
                break;
            case STRING:
                printf("STRING: %s\n", token.value);
                break;
            case IDENTIFIER:
                printf("IDENTIFIER: %s\n", token.value);
                break;
            case KEYWORD:
                printf("KEYWORD: %s\n", token.value);
                break;
            case OPERATOR:
                printf("OPERATOR: %s\n", token.value);
                break;
            case PUNCTUATOR:
                printf("PUNCTUATOR: %s\n", token.value);
                break;
            case END_OF_FILE:
                printf("END OF FILE\n");
                break;
        }
    } while (token.type != END_OF_FILE);
    return 0;
}

这个词法分析器可以识别整数、浮点数、字符串、标识符、关键字、运算符和标点符号，并将它们分别输出。例如，输入以下代码：

int main() {
    int a = 123;
    float b = 3.14;
    char c = 'A';
    char *str = "Hello, world!";
    if (a > 100) {
        printf("%s\n", str);
    } else {
        printf("%c\n", c);
    }
    return 0;
}

输出的结果如下：

KEYWORD: int
IDENTIFIER: main
PUNCTUATOR: (
PUNCTUATOR: )
PUNCTUATOR: {
KEYWORD: int
IDENTIFIER: a
OPERATOR: =
INT: 123
PUNCTUATOR: ;
KEYWORD: float
IDENTIFIER: b
OPERATOR: =
FLOAT: 3.14
PUNCTUATOR: ;
KEYWORD: char
IDENTIFIER: c
OPERATOR: =
OPERATOR: '
IDENTIFIER: A
OPERATOR: '
PUNCTUATOR: ;
KEYWORD: char
OPERATOR: *
IDENTIFIER: str
OPERATOR: =
STRING: Hello, world!
PUNCTUATOR: ;
KEYWORD: if
PUNCTUATOR: (
IDENTIFIER: a
OPERATOR: >
INT: 100
PUNCTUATOR: )
PUNCTUATOR: {
IDENTIFIER: printf
PUNCTUATOR: (
STRING: %s\n
PUNCTUATOR: ,
IDENTIFIER: str
PUNCTUATOR: )
PUNCTUATOR: ;
PUNCTUATOR: }
KEYWORD: else
PUNCTUATOR: {
IDENTIFIER: printf
PUNCTUATOR: (
STRING: %c\n
PUNCTUATOR: ,
IDENTIFIER: c
PUNCTUATOR: )
PUNCTUATOR: ;
PUNCTUATOR: }
KEYWORD: return
INT: 0
PUNCTUATOR: ;
PUNCTUATOR: }
END OF FILE