网络矿工采集器V2012SP1使用教程详解

需积分: 12 4 下载量 191 浏览量 更新于2024-09-10 收藏 1.29MB DOC 举报
网络矿工采集器V2012SP1图文使用教程 网络矿工采集器是指一款功能强大的网络数据采集工具,能够从互联网上采集各种类型的数据,如新闻、博客、论坛等。下面是对网络矿工采集器V2012SP1的详细介绍: 1. 环境要求:网络矿工采集器需要.Net Framework 2.0环境,如果您的计算机中不具备此环境,请下载安装。 2. 软件下载:打开浏览器,访问www.soukey.com,下载网络矿工V2012SP1软件。下载完成后是一个ZIP压缩文件,双击打开压缩文件,解压缩后可以看到一个SoMinerV2012Sp1专业版目录。 3. 软件组成:在解压缩后的目录中,可以看到三个exe文件,分别是Soukeynetget.Exe、SoMinerV2012Sp1.exe和SoMinerV2012Sp1Config.exe。Soukeynetget.Exe是网络矿工的主程序文件,双击启动即可打开网络矿工。 4. 试用版本:如果您是试用用户,启动后,系统会显示试用版,及剩余试用的期限,通常情况下试用期限为30天,试用版没有任何功能限制。 5. 分类管理:启动网络矿工,首先需要建立一个分类用来存储将要配置的采集任务,建立分类的目的是便于管理。 6. 采集任务配置:选中“新闻”分类,点击鼠标右键,选择“新建采集任务”开始添加采集任务。首先可以给此采集任务填写一个易记的采集名称,然后添加要采集的网址信息。 7. 导航采集:采集网址为:http://news.qq.com/newssh/shwx/shehuiwanxiang.htm。采集的数据是从这个新闻列表页中,找到每一篇新闻,点击进入新闻的详细页,采集新闻的正文、发布时间、标题。 8. 配置导航规则:可以通过两种方式进行配置:可视化和采集规则配置。可视化配置导航规则,可以通过点击“配置导航规则”,打开导航配置窗口。 9. 数据采集:网络矿工采集器可以采集各种类型的数据,如新闻、博客、论坛等。采集的数据可以用于数据分析、数据挖掘、市场研究等领域。 10. 数据管理:网络矿工采集器提供了强大的数据管理功能,能够对采集到的数据进行分类、存储和分析。 网络矿工采集器V2012SP1是一款功能强大且灵活的网络数据采集工具,能够满足各种类型的数据采集需求。
2014-05-07 上传
网络矿工是一款基于.Net平台的开源软件,也是网站数据采集软件类型中唯一一款开源软件。尽管开源,但并不会影响软件功能的提供,甚至要比一些商用软件的功能还要丰富。当前提供的主要功能如下: 1. 多任务多线程数据采集,支持POST方式; 2. 可采集Ajax页面; 3. 支持Cookie,支持手工登录采集数据; 4. 支持采集事务; 5. 支持数据自动及手工导出,导出格式为:文本、Excel、Access、MSSql、Mysql等; 6. 支持在线发布数据; 7. 支持导航网址的采集,导航深度不限; 8. 支持自动翻页; 9. 支持文件下载,可以采集图片、Flash及其他文件; 10. 支持采集结果数据的加工,包括替换、附前缀后缀、截取等操作,支持正则; 11. 采集网址定义不仅支持基本参数定义,也可外接字典数据作为网址参数,进行数据采集; 12. 支持一个任务多实例运行; 13. 提供计划任务,计划任务支持Soukey采集任务、外部可执行文件任务、数据库存储过程任务; 14. 计划任务执行周期支持每天、每周及自定义运行间隔;最小单位为:半小时; 15. 支持任务触发器,即可在采集任务完成后,自动触发执行其他任务(包括可执行文件或存储过程)。 16. 完善的日志功能:系统日志、任务执行日志、出错日志等等; 17. 系统提供MINI浏览器可用于捕获Cookie或POST数据。 ........ 授权协议BSD 代码更新:2013-05-02 版本1.61