larbin源码分析全解 - CSDN文库

4星 · 超过85%的资源需积分: 10 196 浏览量更新于2023-06-08 评论 1 收藏 554KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

larbin 源码分析(一) gloabl 文件 Connexion 结构

larbin 源码分析(一) 从 gloabl 文件分析每一个结构

一本系列主要是分析 larbin 开源爬虫的源代码，主要思路是先从 global 文

件中的各个重要的结构开始。

1 Connexion 此处为一个结构体

该结构体主要的作用是进行连接服务器的操作。其中析构函数基本不执

行，因为此结构是循环利用的，在

程序中保持一定的数量。小扩展：FetchOpen 类主要用来建立连接，

而 FetchPipe 类主要用来进行连接之后的数据交换。

结构体中成员变量

struct Connexion{

char state ; //表示 socket 的状态 EMPTY , CONNECTING ,

WRITE . OPEN

int pos ; //请求被发送到的位置

FetchError err ; //查询如何终止的

int socket ; // number of the fds

int timeout ; //链接的超时值

LarbinString request ; //http 请求报头

file * parser ; //对下载的网页进行解析

char buffer[maxPageSize] ; //存储下载的网页数据

Connexion() ;

~Connexion() ;

//recycle

void recycle() ; //此处主要进行循环使用

} ;

2 具体成员函数的实现

Connexion::Connexion() //具体将 socket 的状态变为 emptyC

{ //将文件解析句柄变为空

state = emptyC ;

parser = NULL ;

}

Connexion::~Connexion() //保证一旦调用，即报告错误

{

assert(false) ;

}

/*recycle a connexion*/

void Connexion::recycle() //循环使用该结构体

{

delete parser ; //删除解析对象

request.recycle() ; //对 LarbinString 调用 recycle 函数。

}

3 utils 包下的 connexion.h 和 connexion.cc 的具体代码实现

剩余27页未读，继续阅读

评论5

网工宗华

2014-08-03

Larbin是一款C++写的，作者是法国人，效率不错，据说一天可以爬几百万个网页，不过没有网页数据提取分析功能。已经停止维护更新了，资料也比较少，能在这里下载到很难得，给个五星

serena_charle

粉丝: 0
资源: 4

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈