通用网页正文抽取：行块分布函数的创新算法

本文档探讨的是"基于行块分布函数的通用网页正文抽取算法"，作者陈鑫来自哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）。网页正文抽取在Web信息检索中扮演关键角色，尤其对于大规模、多样化的HTML结构，传统的正则表达式方法往往难以应对。该研究旨在解决如何高效、准确地从网页中抽取正文，同时保持系统的通用性，避免了复杂的DOM树构建和病态HTML带来的问题。 作者创新性地将网页正文抽取问题视为寻找页面的行块分布函数，这种方法不依赖于HTML标签，而是通过构建线性时间复杂度的行块分布函数图，从而实现快速、精确的定位。这种方法强调了简洁性和效率，算法实现仅需不足百行代码，体现了"大道至简"的理念。 系统设计有在线和离线两种模式。在线模式下，用户可以通过输入包含待抽取正文URL的文本文件来进行操作。正文抽取有助于提升信息检索系统的性能，如提高用户查询结果的相关性，减少去重、分类和摘要的误差，因为在信息检索过程中，正文内容是核心，去除无关的噪声信息（如导航、广告和脚本）能更好地满足用户需求。 文章的核心技术包括： 1. 行块分布函数转换：将正文抽取转化为数学上的行块分布函数，使得处理过程更为抽象和精准。 2. 非标签依赖抽取：避免了对HTML标签的直接依赖，提高了处理复杂HTML结构的灵活性。 3. 统计与规则结合：利用统计方法增强系统的通用性，确保在多种情况下都能准确识别正文。 4. 高效算法设计：算法实现简洁，通过线性时间复杂度，提升了整体的执行速度。 这篇论文提供了一种新颖的策略，将复杂的网页正文抽取任务简化，适用于不同类型的网页，对于提高Web信息检索系统的实用性和效率具有重要意义。