Heritrix3WEB界面详解与操作指南

"《heritrixWEB页面详解.docx》是一个详细介绍Heritrix网络爬虫工具Web界面各项功能的文档。Heritrix是一个开源、可扩展的互联网档案爬虫，广泛用于大规模网页抓取。文件主要涵盖了Heritrix的Job管理、操作按钮、配置文件以及抓取统计等关键信息。" 在Heritrix的Web页面中，`Jobtest-job(8launches,last13h45mago)`表示一个名为`test-job`的任务，该任务已经被启动8次，最近一次启动是在13小时45分钟前。这反映了任务的历史执行情况。 页面上的7个主要操作按钮是Heritrix的核心控制元素： 1) **Build**：从头开始构建一个新的抓取任务，需要设定目标网站和抓取规则。 2) **Launch**：启动一个已存在的抓取任务，如果配置了增量抓取，可以在现有数据基础上继续抓取。 3) **Pause**：暂停正在运行的抓取任务，但请注意，由于线程处理，暂停可能不是立即生效的。 4) **Unpause**：恢复暂停的抓取任务，继续执行未完成的工作。 5) **Checkpoint**：保存当前抓取任务的状态，类似于数据库的检查点，以便于之后恢复或备份。 6) **Terminate**：彻底结束抓取任务，不再继续执行。 7) **Teardown**：在多任务环境中，删除当前正在运行的抓取任务。 `configuration`部分指明了配置文件的位置，例如`.\jobs\yunjiaoyu-dearedu\crawler-beans.cxml[edit]`，用户可以在此编辑和查看爬虫的配置参数，包括URL种子、抓取策略、排除规则等。 `JobLog(more)`提供抓取任务的运行日志，记录了任务的启动、暂停等事件，同时会显示配置文件错误。点击“more”可以查看更详尽的日志信息。 `JobisActive`的状态`RUNNING`表示任务正在运行。其他可能的状态包括暂停（PAUSED）或者其他错误状态。 在`Totals`部分，展示了抓取进度的关键指标： - `downloaded`：已下载的URL数量，表示成功获取内容的网页数量。 - `queued`：等待抓取的URL数量，这些URL还未被处理。 - `total`：总处理的URL数量，等于已下载和等待抓取的URL之和。 - `crawled`：所有已爬取内容的总字节数。 - `novel`：新内容的字节数，即不重复的网页数据量。 - `dup-by-hash`：通过URL哈希值检测出的重复内容，这里显示为0，意味着没有检测到重复。 这个文档提供了对Heritrix Web界面的深入理解，有助于用户有效地管理和监控他们的网络抓取任务。通过对各项功能的详细解释，用户可以更精确地控制抓取过程，确保抓取效率和数据质量。