2007年分布式文本检索系统：结构、效率与TREC验证

分布式大规模文本检索系统在2007年由李智超、熊风气和富羽鹏等人提出，他们针对网络数据爆炸性增长的需求，探讨了分布式检索系统的架构和工作原理。该系统由多个能独立完成检索任务的子检索机和一个中央控制器构成，通过网络协同工作，解决了单机在处理海量文本时的不足。 在设计上，主要讨论了两种策略：一种是按主题聚类，将文档分配到特定的子检索机，这样可以提高专有搜索的查准率；另一种是采用更为均匀的方式，将文本集合平均分配到所有子检索机，每个子节点独立建立索引。用户通过中央机提交查询，中央机根据查询内容决定向哪个或哪些子节点发送请求，从而实现全局检索。 论文以TREC 2006的数据集作为实验基础，通过对分布式检索系统性能的实证分析，验证了其在效率和有效性方面的优势。实验结果显示，分布式系统能够在节省存储空间的同时，显著提升检索速度，尤其是在处理大规模文本时，显示出明显的优越性。 本文的关键词包括分布式系统、文本检索、领域信息以及TREC 2006，反映出研究者关注的核心问题和技术挑战。文章还引用了诸如SMART和OKAPI这样的具体检索系统作为背景，强调了分布式检索系统在应对海量数据检索需求中的重要角色。此外，分类号TP391.3表明了研究内容属于计算机科学的信息检索领域，文献标识码A则表示该研究符合学术期刊的标准。 这篇论文不仅介绍了分布式文本检索系统的设计思想，还提供了实际应用的案例和性能评估，为后续的研究者和开发者提供了一种有效的解决大规模文本检索问题的方法。