基于Hadoop的分布式图片搜索引擎设计与性能优化

本篇硕士学位论文深入探讨了分布式图片搜索引擎的设计与实现，针对互联网上日益庞大的图片资源和其蕴含的信息挑战。作者詹恒飞，以国防科学技术大学计算机科学与技术专业硕士身份，选择了基于文本的图片搜索技术和Hadoop分布式平台作为研究核心。 首先，论文提出了一个图片聚焦爬虫算法，它考虑了页面权威性和文本齐全度，旨在高效采集可信度高的站点上的图片数据，同时保持采集的广泛性。通过这种方式，可以在短时间内实现大规模图片的抓取，提高信息获取效率。 接着，论文详细研究了文本分类和信息提取技术，特别是基于TF-IDF的文本分类方法。作者在此基础上，引入了句子成分识别和页面位置重要性等因素，优化了文本关键词提取算法，以确保能在大量文本中准确提取与图片相关的描述，并将这些描述作为图片的关键词。利用Lucene开源工具，构建了适合图片搜索应用的倒排序结构文本索引库，提升搜索效率。 论文进一步探讨了在大数据环境下，如何利用Hadoop分布式平台的Map/Reduce技术进行计算分布式化。作者设计了一个集数据采集、索引生成和搜索于一体的分布式图片搜索引擎系统，使得即使面对海量数据也能提供快速的服务响应。 最后，论文作者通过Eclipse编程工具实现了这个分布式图片搜索引擎，并对其性能进行了测试。测试结果显示，该搜索引擎在数据采集能力、索引构建速度以及搜索响应时间等方面表现出良好的性能，满足了大规模图片搜索的需求。 这篇论文不仅提供了分布式图片搜索引擎的设计思路，还展示了如何将现有技术整合，以适应不断增长的互联网图片资源，对于IT行业中的信息检索和大数据处理具有实际应用价值。