Heritrix3.1 用户指南：安装，配置与运行

"Heritrix 3.0/3.1 官方用户指南，包含系统要求、新特性、安装、配置、运行、基于WEB的用户界面、安全、快速入门爬取任务、退出、编辑运行任务、FTP支持、备份、主控制台页面、配置文件、输出、常见用例、富媒体归档、错误请求处理、动态内容避免、HTML文件映射、成功HTML存储、任务管理、任务分析、日志、报告、链配置、处理器设置及统计追踪等内容。" Heritrix 是一个开源的网络爬虫工具，主要用于大规模网页抓取和归档。Heritrix 3.0 和 3.1 版本提供了许多改进和新特性，使得它更适合于复杂的数据采集需求。 **系统要求**：在开始使用 Heritrix 之前，你需要确保你的系统满足最低硬件和软件要求，这通常包括特定的操作系统版本、内存大小、磁盘空间以及Java环境。 **新特性**：Heritrix 3.0 和 3.1 的新特性可能包括性能提升、新的处理器、更好的错误处理机制、更丰富的配置选项等。 **安装**：Heritrix 的安装过程涉及下载源代码或预编译包，配置环境变量，以及可能的依赖库安装。 **配置**：配置 Heritrix 涉及设置爬虫的行为，例如种子URL、抓取深度、排除规则、HTTP代理等。配置文件（Profiles）是自定义爬虫行为的关键。 **运行**：启动 Heritrix 后，可以通过基于WEB的用户界面进行监控和管理。 **Web-based User Interface**：提供了一个直观的界面，用于启动、暂停、停止爬取任务，查看实时统计信息，以及配置参数。 **安全考虑**：在运行 Heritrix 时，必须考虑网络安全，例如设置访问控制，防止恶意攻击，以及保护抓取的数据。 **运行爬取任务**：指南中提供了一步一步的教程，帮助新手快速创建并运行他们的第一个爬取任务。 **编辑运行任务**：在任务运行过程中，可以动态调整参数，适应抓取过程中的变化。 **FTP支持**：Heritrix 支持通过FTP协议抓取远程服务器上的内容。 **备份（Checkpointing）**：定期保存爬取状态，以便在故障后恢复。 **主控制台页面**：显示了爬取的全局状态，包括各种数据元素和操作。 **处理链**：包括候选链处理器、获取链处理器和处置链处理器，定义了数据从获取到处理再到存储的流程。 **处理器设置**：允许你详细配置每个处理器的行为，如重试策略、超时设置等。 **统计追踪**：提供关于爬取进度、成功与失败的统计信息，用于优化爬虫性能。 **日志和报告**：记录爬取过程中的事件，便于分析和调试。 **常见用例**：涵盖了一系列典型的使用场景，如富媒体内容归档、处理特定类型内容时的注意事项等。 **任务管理**：包括任务创建、修改和分析，以及对抓取结果的评估。 Heritrix 3.1 用户指南是一份全面的文档，旨在帮助用户理解和利用 Heritrix 的强大功能，有效地执行网络抓取任务。