HTML正文抽取方法：机器学习与统计估计策略

"这篇论文探讨了有效HTML文本信息抽取的方法，重点关注从新闻网页和博客网页中提取正文内容的问题。由于网页通常包含大量无关的噪声内容，使得正确抽取文本信息变得困难。作者通过分析中文新闻和博客网页的正文特征，提出并比较了三种不同的HTML正文抽取方法：机器学习方法、统计估计方法以及FDR（False Discovery Rate）方法。实验结果显示，这些算法能有效地过滤噪声，同时保持较低的计算复杂度，实现了效率和效果的良好平衡。论文还提及了作者的研究背景和方向，包括数据库、信息检索、数据挖掘等领域。" 本文针对网页信息抽取这一重要课题，特别是从新闻网页和博客网页中提取正文信息，进行了深入研究。由于网页中的广告、侧边栏、导航等噪声内容严重影响了正文的准确抽取，因此如何有效地识别和提取文本信息成为了一个挑战。作者首先分析了中文新闻和博客网页的正文特征，发现HTML与文本的密度比是识别正文的关键指标。 接着，文章介绍了三种用于HTML正文抽取的方法。第一种是机器学习方法，利用训练集构建模型来区分正文与噪声，通过学习网页结构和内容特征，判断哪些部分更可能是正文。第二种是统计估计方法，通过对大量网页的统计分析，建立概率模型，以统计规律来确定正文区域。第三种是FDR方法，这是一种控制错误发现率的统计方法，用于在大量候选信息中筛选出真实的正文内容。 论文进行了大量的实验比较和分析，验证了这三种方法在噪声过滤和效率上的有效性。实验结果显示，这些方法能够在保持较低计算复杂度的同时，实现较高的正文抽取准确率，从而达到理想的效果。 此外，文章还提到了作者的背景，他们来自北京工商大学计算机学院，研究领域涵盖数据库、数据仓库、信息检索、数据挖掘以及信息系统和城市应急系统。这些背景知识为他们研究HTML正文抽取提供了坚实的理论基础和技术支持。 这篇研究论文对HTML文本信息抽取进行了详尽的探讨，提出的算法具有实际应用价值，对于改善网页信息抽取的效率和准确性具有重要意义。