中文全文检索技术：分词与倒排索引的研究

"中文全文检索技术研究.pdf" 这篇硕士论文详细探讨了中文全文检索技术，重点关注了中文分词和全文检索的实现。全文检索技术在信息处理的各个领域中扮演着重要角色，包括普通文本检索、概念信息检索、超文本信息检索、多媒体信息检索以及数据挖掘。作者于波在导师何婷婷的指导下，对这一领域的关键技术和方法进行了深入研究。 首先，论文概述了检索技术的发展历程，对比了不同类型的检索技术，如普通文本检索注重词汇匹配，概念信息检索涉及语义理解，超文本信息检索关注链接结构，多媒体信息检索处理多模态数据，而数据挖掘则致力于发现隐藏模式。 其次，论文探讨了全文检索的两种主要索引方法。基于字表的检索方法因其简单实现和无需分词的优势而被广泛应用，但其索引库大、匹配速度慢、查全率高而查准率低的问题也被指出。为解决这些问题，论文提出了基于词表的检索方法，它能更有效地处理中文文本。 接着，论文重点研究了中文自动分词技术，这是全文检索的关键。它分析了各种分词方法，如机械匹配法（MM法）、特征词库法、约束矩阵法、语法分析法和理解切分法。MM法因其简单实现而被详细讲解，同时论文也提出了一种混合模型，结合字、词和词组来提高分词准确性和效率。 在MM法基础上，论文提出了一个改进的策略来减少词语的歧义切分，通过建立基于字、词和词组的汉语词语二叉树，有效提高分词质量和检索性能。 最后，论文设计了一个适用于校园网的Web页面搜索引擎。这个引擎将搜索功能分为前端和后端，后端负责文档抓取、分词和索引构建，前端则处理索引检索并提供服务。利用网络蜘蛛扫描HTML文档，提取与检索关键字相关的页面，并结合向量空间模型找出资源中心，即检索结果。 关键词涵盖了全文检索、倒排文件、自动分词、二叉树、搜索引擎和向量空间模型，这些都是全文检索系统设计的核心要素。通过这篇论文的研究，我们可以深入理解中文全文检索技术的理论基础和实践方法。