WhatWeb解析器：将扫描结果转换为CSV格式的Python脚本

资源摘要信息: "WhatWeb解析器脚本介绍" ### WhatWeb解析器脚本功能概述 该脚本的主要目的是帮助用户将WhatWeb工具的扫描结果转换成更易于查看和分析的CSV格式文件。WhatWeb是一个识别Web应用程序的技术和方法的集合，它可以检测Web服务器类型、运行的应用程序版本、网页编码、管理接口、使用的编程语言、JavaScript库等等。通过将这些扫描结果转换为CSV格式，用户可以更加方便地利用电子表格软件（如Microsoft Excel或LibreOffice Calc）进行进一步的数据分析和整理。 ### WhatWeb扫描结果的转换过程 1. **脚本启动**: 首先，用户通过运行一个名为`bulk_scan.sh`的Bash脚本来启动转换过程。该脚本负责读取包含URL的`urls.txt`文件，并逐行（每个URL）运行WhatWeb命令。 2. **WhatWeb命令执行**: `bulk_scan.sh`脚本将对`urls.txt`文件中的每一个URL运行WhatWeb命令，并将扫描结果记录到名为`scan_output`文件夹中的JSON格式文件里。这个过程可能会花费一些时间，因为需要逐个访问每个URL并进行扫描。 3. **CSV格式转换**: 在`bulk_scan.sh`脚本完成扫描之后，用户可以通过运行Python脚本`parse.py`来执行转换过程。该脚本会将存放在`scan_output`文件夹中的JSON格式的WhatWeb扫描结果转换为CSV格式。 ### parse.py脚本的命令行选项 在使用`parse.py`脚本将WhatWeb的JSON输出转换为CSV格式时，用户可以根据需要使用以下命令行选项： - `-i` 或 `--input-folder`: 必须指定的参数，用于输入包含WhatWeb输出的文件夹的路径。该路径指向`bulk_scan.sh`脚本产生的`scan_output`文件夹。 - `-f` 或 `--log-format`: 指定要解析的WhatWeb日志格式。接受的选项有`json`和`xml`。如果不设置此参数，默认为`json`格式。注意，该脚本的当前版本（v0.1）不支持`xml`格式的解析。 - `-p` 或 `--plugin-fields`: 必须指定的参数，用于决定哪些插件的输出字段被解析并包含在最终生成的CSV文件中。 ### 该脚本的适用环境 考虑到此脚本使用了Bash和Python，因此它适用于类Unix操作系统（例如Linux或macOS）。对于不熟悉命令行操作的用户，可能需要一定的学习成本来熟悉如何在操作系统中执行这些脚本。由于脚本没有提供图形用户界面（GUI），所以用户的操作必须通过命令行来完成。 ### 安全性提示 在执行WhatWeb扫描时，用户需要确保他们对目标URL有合法的扫描权限。未经允许对网站进行扫描可能违反相关法律或服务条款，并可能导致法律后果或其他网络安全问题。 ### 总结 通过上述流程和脚本，用户可以有效地将WhatWeb的扫描结果格式化为更为友好的CSV格式，以便进一步的分析和处理。这些脚本提供了自动化处理大量Web应用程序识别信息的能力，对于需要定期或大规模进行Web指纹识别任务的用户来说，尤其有用。此外，熟悉Python和Bash脚本操作的用户将会发现使用该脚本相对容易，但对新手来说可能需要一定的学习和实践。