"基于文本的Web图片搜索引擎的研究"
这篇硕士研究生学位论文主要探讨了Web图片搜索引擎的设计与实现,作者王鹏云在导师宋再生教授的指导下,深入研究了相关技术,旨在构建一个高效的Web图片搜索引擎。论文的核心内容可以分为以下几个方面:
1. 网页抓取与信息提取:搜索引擎首先需要爬取大量网页,获取其中的图片资源。论文中介绍了这一过程,包括如何遍历和下载网页,以及如何处理动态内容和JavaScript生成的图片。
2. 相关性排序:文中涉及两种相关性排序方法——Vector Space Model (VSM) 和 Latent Semantic Indexing (LSI)。VSM通过计算词项频率来评估文本相关性,而LSI则利用隐含语义关系提高查询与文档的匹配度,这在图片搜索引擎的文本上下文理解中至关重要。
3. 信息索引:建立有效的索引结构是快速查找图片的关键。论文探讨了如何从HTML文件中提取图片的元信息,如图片URL、文件大小、关联文本等,并将其纳入索引,以支持高效的检索。
4. 图片信息提取模式:作者提出了9条提取模式,通过分析HTML结构(如<img>、<a>、<meta>、<table>等标记)和内容,以提取高质量的图片相关数据。同时,研究了基于DOM、字符串和Wrapper的三种不同提取方法。
5. 无用图片过滤:为了提高搜索引擎的可用度,论文提出了剔除无用图片的策略,如尺寸过小、长宽比例异常或引用次数过多的图片,以减少无效的搜索结果。
6. HTML文件规律分析:通过对大量HTML文件的统计分析,发现了某些规律,如JPG通常比GIF更重要,<a>标记引用的图片往往比<img>标记的图片更关键,以及图片引用次数的含义。
7. LSI算法应用:论文还初步探讨了使用LSI算法结合文字和图片内容进行信息整合的可能性,以提高搜索结果的相关性,并通过实验验证了这种方法的效果。
8. 系统设计与实现:最后,作者设计并实现了一个基于上述理论的Web图片搜索引擎原型,这不仅是理论研究的验证,也是实际应用的起点。
这篇论文对Web图片搜索引擎的构建进行了全面的研究,涵盖了从数据获取到信息处理的全过程,对提升图片搜索引擎的性能和用户体验具有重要参考价值。