2 相关技术简介
2.1 网络爬虫定义
定义 :网络爬虫是一个自动提取网页的程序,它为搜索引擎从 # 上下
载网页,是搜索引擎的重要组成部分。通用网络爬虫从一个或若干初始网页的
21 开始,获得初始网页上的 21 列表;在抓取网页的过程中,不断从当前页
面上抽取新的 21 放入待爬行队列,直到满足系统的停止条件。
33定义 :主题网络爬虫就是根据一定的网页分析算法过滤与主题无关的链
接,保留主题相关的链接并将其放入待抓取的 21 队列中;然后根据一定的搜
索策略从队列中选择下一步要抓取的网页 21,并重复上述过程,直到达到系
统的某一条件时停止。所有被网络爬虫抓取的网页将会被系统存储,进行一定
的分析、过滤,并建立索引,对于主题网络爬虫来说,这一过程所得到的分析
结果还可能对后续的抓取过程进行反馈和指导。
33定义 :如果网页 中包含超链接 %,则 称为链接 % 的父网页。
33定义 :如果超链接 % 指向网页 ,则网页 称为子网页,又称为目标网页。
主题网络爬虫的基本思路就是按照事先给出的主题,分超链接和已经下载的网
页内容,预测下一个待抓取的 21 及当前网页的主题相关度,保证尽可能多地
爬行、下载与主相关的网页,尽可能少地下载无关网页。
2.2 R 语言简介
是用于统计分析、绘图的语言和操作环境。 是属于 "42 系统的一个自
由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。
作为一种统计分析软件,是集统计分析与图形显示于一体的。它可以运
行于 2456#! 和 的操作系统上,而且嵌入了一个非常方便实用
的帮助系统,相比于其他统计分析软件, 还有以下特点:
是自由软件。这意味着它是完全免费6开放源代码的。可以在它的网站
及其镜像中下载任何有关的安装程序、源代码、程序包及其源代码、文档资料。
标准的安装文件身自身就带有许多模块和内嵌统计函数6安装好后可以直接实现
许多常用的统计功能。
是一种可编程的语言。作为一个开放的统计编程环境6语法通俗易懂6很
容易学会和掌握语言的语法。而且学会之后6我们可以编制自己的函数来扩展现
有的语言。这也就是为什么它的更新速度比一般统计软件6如6,6' 等快得
多。大多数最新的统计方法和技术都可以在 中直接得到。
所有 的函数和数据集是保存在程序包里面的。只有当一个包被载入时6
它的内容才可以被访问。一些常用、基本的程序包已经被收入了标准安装文件
中6随着新的统计分析方法的出现6标准安装文件中所包含的程序包也随着版本的
更新而不断变化。在另外版安装文件中6已经包含的程序包有: 一 的基础
模块、*% 一极大似然估计模块、 一时间序列分析模块、*( 一多元统计分析
模块、.((% 一生存分析模块等等
具有很强的互动性。除了图形输出是在另外的窗口处,它的输入输出
窗口都是在同一个窗口进行的,输入语法中如果出现错误会马上在窗口口中得
到提示6对以前输入过的命令有记忆功能6可以随时再现、编辑修改以满足用户的
需要。输出的图形可以直接保存为 7,"6+,6,4" 等图片格式6还可以直接保存
为 ,-/ 文件。另外6和其他编程语言和数据库之间有很好的接口。