![](https://csdnimg.cn/release/download_crawler_static/88317921/bg6.jpg)
Excite、AltaVista 都是采用这个模式。不过这种方式也是有一定的弊端,有不少人员会
利用这样的缺陷去增加收录,比如关键词堆砌。这样网站可以很快的被搜在最前面
第三个阶段:整合分析阶段
随着网络信息的迅速膨胀,为了能够更好的解决用户们对网页信息的搜寻和查找,
搜索引擎出现了一种以反链为和兴的算法,网页之间利用连接的关系被搜索引擎链接起
来,反链越多,说明网站越多人访问越多人关注,这样网站的评分也会越来越高。不光
如此,这个阶段的搜索引擎也就是网页链接代表被深入挖掘并且利用。这是一种相当于
推荐关系,假设有一个 A 网站,在同一阶段,很多网站都指向 A,那么 A 网站相当于
被很多网页推荐,说明 A 网站是具有知名度。这种连接分析也深入人心,改进搜索结果,
影响至今。所以这种基于连接的吻戏,对很多网站来说都是一个考量,因为只有被很多
网站所指向成为一种链式结构的时候,发布者的网站才有可能得到更多的推荐,才会变
得流行容易被检索到。基于这种逻辑,如何才能找到真正重要的网页呢,通过分析连接
的指向。在这个时候出现了我们熟知的 PR 值(PageRank),PageRank 算法是由 Google
提出的,这引发了学术界不小的轰动。起初这个算法的优势非常明显,不少学者都提出
了很多基于这个算法的改进。但是一直到目前为止还是有很多的人对算法进行钻漏洞,
进行购买链接的等等。虽然目前为止还是用很多商业用的搜索引擎在采取这个算法的链
接技术,但是也有不少刚刚提到的弊端购买链接、搜索引擎不人性化的需求,没有考虑
到不同的用户输入相同的语句时,会有不同的结果。这样查询结果的质量也会降低,这
给出现了相当大的困扰和意见,对于用户来说。因此,第四阶段的出现也是必然的。
第四个阶段:用户中心阶段
随着搜索引擎的发展和演变,搜索引擎现代化而且智能化,搜索引擎通过记录大量
用户的行为数据(跳出率、点击率等),大多数都演变成了以用户为核心,由于搜索引
擎开始了对用户行为的分析,也是就通过用户对网页的操作,行为数据等等,产生不同
的权重比。举个例子:一个用户通过搜索一个关键词查看了一个网页,停留了很长一段
时间并且在同一个事物进行多次的点击,并且反复的进出页面。那么搜索引擎就会认为
这个页面对于用户来说可能是需求,从而在后面几次的搜索中,使这个关键词的搜索得
分排名增加靠前。
1.4 本文主要研究内容
本次课题的研究主要工作是对数据的获取和总结分析,大部分的实现代码都是通过
scrapy 框架实现的,从 0-1 实现了对三大网站的数据的获取,和百度、google 等大型搜
索引擎对比,本次研究更具有针对性,在获取数据之后通过异步存储和同步存储分别保
存。将数据进行格式化的处理,然后通过简单的 django 搭建一个前端界面,通过
elasticsearch 使前端和后端数据联系起来。
根据上述所描述的问题,本次研究主要的工作安排如下: