基于LEX的java词法分析器

LEX是一个生成词法分析器的工具，它可以根据用户提供的正则表达式和动作列表，生成一个C语言词法分析器。如果要在Java中使用LEX生成的词法分析器，可以通过JNI调用C语言的词法分析器，或者使用JFlex这个专门为Java开发的词法分析器生成工具。

下面是使用JFlex生成Java词法分析器的步骤：

1. 安装JFlex

可以在JFlex官网上下载安装包，然后按照说明进行安装。

2. 编写词法规则文件

编写一个包含词法规则的文件，例如：

%{
import java.io.*;
%}

%class Lexer
%unicode
%public
%type String

%%
"if"        { return "IF"; }
"else"      { return "ELSE"; }
"while"     { return "WHILE"; }
"("         { return "("; }
")"         { return ")"; }
"{"         { return "{"; }
"}"         { return "}"; }
";"         { return ";"; }
[ \t\r\n]   ;   // ignore whitespaces

.           { throw new IOException("Invalid character: " + yytext()); }
%%

public static void main(String[] args) throws IOException {
    Lexer lexer = new Lexer(new FileReader(args[0]));
    String token;
    while ((token = lexer.yylex()) != null) {
        System.out.println(token);
    }
}

上面的规则定义了几个关键字和一些符号，同时忽略了空格和换行符。如果遇到未定义的字符，会抛出异常。

3. 生成词法分析器

使用JFlex生成词法分析器，命令如下：

jflex lexer.flex

这会生成一个名为Lexer.java的文件，其中包含了词法分析器的代码。

4. 编译运行

将生成的Java文件编译成class文件，然后运行即可：

javac Lexer.java
java Lexer test.txt

其中test.txt是包含源代码的文件。运行结果会输出每个识别出的token。