搜索引擎蜘蛛算法与蜘蛛程序构架
一、网络蜘蛛基本原理
网络蜘蛛即 Web Spider，是一个很形象的名字。把互联网比喻成一个蜘
蛛网，那么 Spider 就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地
址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找
到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一
直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当
成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下
来。
对于搜索引擎来说，要抓取互联网上所有的网页几乎是不可能的，从目前
公布的数据来看，容量最大的搜索引擎也不过是抓取了整个网页数量的百分之
四十左右。这其中的原因一方面是抓取技术的瓶颈，无法遍历所有的网页，有
许多网页无法从其它网页的链接中找到；另一个原因是存储技术和处理技术的
问题，如果按照每个页面的平均大小为 20K 计算（包含图片），100 亿网页的
容量是 100×2000G 字节，即使能够存储，下载也存在问题（按照一台机器每
秒下载 20K 计算，需要 340 台机器不停的下载一年时间，才能把所有网页下
载完毕）。同时，由于数据量太大，在提供搜索时也会有效率方面的影响。因
此，许多搜索引擎的网络蜘蛛只是抓取那些重要的网页，而在抓取的时候评价
重要性主要的依据是某个网页的链接深度。
在抓取网页的时候，网络蜘蛛一般有两种策略：广度优先和深度优先（如
下图所示）。广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页，然
后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。这是最
常用的方式，因为这个方法可以让网络蜘蛛并行处理，提高其抓取速度。深度
优先是指网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条
线路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是网络蜘蛛
在设计的时候比较容易。两种策略的区别，下图的说明会更加明确。
剩余10页未读，继续阅读
评论1