网络蜘蛛在漫游的过程中,根据页面的标题、头、链接等生成摘要放在索引数据库中。如
果是全文搜索,还需要将整个页面的内容保存到本地数据库。网络蜘蛛为实现其快速地浏
览整个互联网,通常在技术上采用抢先式多线程技术实现在网上搜索信息。通过抢先式多
线程的使用,你能索引一个基于 /37 链接的 页面,启动一个新的线程跟随每个新的
/37 链接,索引一个新的 /37 起点。当然在服务器上所开的线程也不能无限膨胀,需要在
服务器的正常运转和快速 收集网页之间找一个平衡点。
在整个搜索引擎工作过程中,整个蜘蛛的数据入口是 /37 地址,数据出口是 页仓库。
程序发现 /37 链接以后,经过 处理模块,将我们所需要的网页数据存储在
页仓库中,为以后的形成网页快照、网页分析提供基础数据。在 程序工作的过程中,
发现新的链接,对该链接进行分析,形成新的搜索地址,作为下一次 程序的数据输
入。这个过程的实现就是 程序的队列管理。
程序的工作过程,简单来讲,就是不断发现新的链接,并对该链接对应的页面分析
存储的工程。如下图所示,
一、索引器: 索引器的功能是理解搜索器所搜集的信息,从中抽取出索引项,用于表示文
档以及生成文档库的索引表。索引项有客观索引项和内容索引项两种*客观项:与文档的语
意内容无关,如作者名、/37、更新时间、编码、长度、链接流行度>71@A?等等:
内容索引项:是用来反映文档内容的,如关键词及其权重、短语、词、字等等。内容索引
项可以分为单索引项和多索引项>或称短语索引项?两种。单索引项对于英文来讲是英语单
词,比较容易提取,因为单词之间有天然的分隔符>空格?:对于中文等连续书写的语言,必
须采用多索引项,进行词语的切分。索引器可以使用集中式索引算法或分布式索引算法。
当数据量很大时,必须实现实时索引>34.&?<否则不能够跟上信息量急剧增加的
速度。索引算法对索引器的性能>如大规模峰值查询时的响应速度?有很大的影响。一个搜
索引擎的有效性 在很大程度取决于索引的质量。 由于汉文字符多,处理复杂,中文词的
处理不容易。索引器中的中文分词技术: 一个分词系统B分词程序C分词词典>?最大匹配法
66>?反向最大匹配法 366>?最佳匹配法 D6>?双向扫描法E百度的分词就采用了双向扫
描法F系统关键是:分词精度和分词速度
二、建立索引的方法: 为了加快检索速度,搜索引擎要对 程序搜集到的信<建立倒排
索引。
()全文索引和部分索引有些搜索引擎对于信息库中的页面建立全文索引,有些只建立摘
要部分索引或者每个段落前面部分的索引。还有些搜索引擎在建立索引时,要同时考虑超
文本的不同标记所表示的含义,如粗体、大字体显示的东西往往比较重要。有些搜索引擎
还在建立索引的过程中收集页面中的超链接。这些超链接反映了收集到的信息之间的空间
结构。利用这些结果信息可以提高页面相关度判别时的准确度。
()是否过滤无用词由于网页中存在这许多无用>无实际意义?单词,例如“啊”、“的”等。这
此词往往不能明确表达该网页信息,所以有些搜索引擎保存一个无用词汇表,在建立索引