java lucene词干提取_lucene 进行去除停用词和词干提取

对于Java Lucene进行去除停用词和词干提取，可以使用以下步骤：

1. 导入Lucene库

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.core.StopAnalyzer;
import org.apache.lucene.analysis.en.PorterStemFilter;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.util.Version;

2. 定义分析器（Analyzer），包括使用StandardAnalyzer进行分词，使用StopAnalyzer去除停用词（如a，an，the等），使用PorterStemFilter进行词干提取。

Analyzer analyzer = new StopAnalyzer(Version.LATEST);
analyzer = new StandardAnalyzer(Version.LATEST);
analyzer = new Analyzer.TokenStreamComponents(tokenizer, new PorterStemFilter(tokenizer)).getTokenStream();

3. 定义文本输入，并将其传入分析器进行分析，获取分析结果。

String text = "This is a sample text to demonstrate Lucene's stop words removal and stemming capabilities.";
TokenStream tokenStream = analyzer.tokenStream(null, new StringReader(text));
CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
tokenStream.reset();
while (tokenStream.incrementToken()) {
    System.out.println(charTermAttribute.toString());
}

运行以上代码，即可得到去除停用词和进行词干提取后的文本分词结果。