本体与LS-SVM结合的主题爬行优化方法

需积分: 9 0 下载量 109 浏览量 更新于2024-08-13 收藏 962KB PDF 举报
"一种融合本体和最小二乘支持向量机的主题爬行方法 (2015年)",该研究论文提出了一种新的主题爬行策略,称为Ontology-LSSVM,旨在解决传统主题爬行方法的低效率和不稳定性问题。该方法结合了本体和最小二乘支持向量机(Least Squares Support Vector Machine, LSSVM)的理论,以提高网络爬虫在特定主题领域的信息获取效果。 在传统的主题爬行中,搜索引擎可能因为缺乏精确的上下文知识而抓取到不相关的网页,导致收益率不高且过程不稳定。Ontology-LSSVM方法引入了本体作为主题背景知识的表示,通过构建问题食品本体来体现食品安全这一舆论热点领域的概念关系。本体能够提供更丰富的语义信息,帮助识别和理解网页内容的相关性。 接着,该方法利用网页文本中主题相关概念的词频作为LSSVM分类器的输入特征。LSSVM是一种监督学习算法,擅长处理小样本和非线性问题,能有效识别和分类主题相关网页。通过训练LSSVM模型,可以预测未访问网页是否与目标主题相关,从而指导爬虫的下一步行动,优化爬行路径,提高抓取的针对性和效率。 实验部分,研究者以食品安全问题为爬行主题,对比了Ontology-LSSVM与其他几种主题爬行方法(如基于LSSVM、基于本体和基于关键字的方法)。结果显示,在实验条件下,Ontology-LSSVM方法能够保持更高的收益率,证明了其在抓取相关网页方面的优越性。 关键词涉及的核心技术包括:本体(Ontology),支持向量机(Support Vector Machine,SVM),主题爬行(Focused Crawling)和收益率(Crawling Efficiency),以及食品安全(Food Safety)的应用场景。该研究对于提升信息检索系统的性能,特别是在特定领域信息获取方面,具有重要的理论和实践价值。