基于Lucene的中文全文信息检索技术研究与优化

"基于Lucene搜索引擎的中文全文信息检索技术的研究" 本文主要探讨了中文全文信息检索技术，特别是在搜索引擎中的应用。作者励子闰在华东师范大学攻读计算机应用技术硕士学位时，由导师余青松指导完成了这项研究。随着互联网信息量的爆炸性增长，如何高效地从海量数据中提取有价值信息成为关注焦点，而信息检索技术在此起到了关键作用。 论文首先介绍了信息检索的基本概念，强调了中文检索与西文检索在技术实现上的相似性和差异性。由于汉语的特性，中文检索尤其需要中文分词技术。作者详细对比分析了四种主要的中文分词算法：基于字符串匹配、基于理解、基于统计和基于语义的方法，概述了它们的优势和不足，并针对不同评价标准进行了优劣评估。 在Lucene的基础之上，论文提出了一种改进的文档相关度排序算法，结合了用户行为的二次检索Pagerank和主页加分策略，以提高检索的准确性。此外，还对索引预处理、关键词提示、停止词处理、正向最大匹配和逆向最大匹配等环节进行了优化，实验结果证明了这些改进的有效性。 论文的核心贡献是开发了一个基于Lucene的中文全文信息检索原型系统。通过与Lucene的默认一元分词法和二元分词法比较，证明了改进后的词典分词方法的优越性。改进后的文档相关度排序算法利用了用户的主观评价，显著提升了搜索结果的相关性。 论文的结论部分对基于Lucene的中文全文信息检索系统的实现进行了总结，并指出了未来可能的研究方向，包括更深入的自然语言处理技术、用户行为建模以及检索效果的持续优化等。 关键词：Lucene搜索引擎；中文分词；文档相关度排序；全文信息检索