的 :// googlechinablog
/2007/07/bloom-filter.html。
2.2.3 LRU 算法实现 URL 消重
用双向链表来实现大容量 cache 的 LRU 算法。原理是：
cache 的所有位置都用双向链表连接起来，当一个位置被命
中后，就将通过调整链表的指向将该位置调整到链表的头位
置，新加入的内容直接放在链表的头上。这样，在进行过多
次查找操作后，最近被命中过的内容就像链表的头移动，而
没有命中过的内容就向链表的后面移动。当需要替换时，链
表最后的位置就是最近最少被命中位置，我们只需要将新的
内容放在链表前面，淘汰链表最后的位置就实现了 LRU 算法。
2.3 URL 类访问网络
JAVA 提供了许多支 Internet 连接的类，URL 类就是其
中之一。在使用 URL 类之前，必须创建一个 URL 对象，创
建的方法是使用其构造函数，通过向其指定一个 URL 地址，
就 能 实 例 化 该 类 。 如 ： URL url=new URL （ ://
sina ）；
如 果 传递 无 效 的 URL 给 URL 对象 ， 该 对 象 会 抛 出
MalformedURLException 异常。当成功创建一个 URL 对
象后，我们调用 openConnection 函数建立与 URL 的通信，
此时，我们就获得了一个 URLConnection 对象的引用，
URLConnection 类包含了许多与网络上的 URL 通信的函
数。在下载网页前，我们需要判断目标网页是否存在，这时
调用 URLConnection 类的 getHeaderField()方法，获得服
务器返回给 SPIDER 程序的响应码，如果响应码包含”20*”
字样，表示目标网页存在，下一步就下载网页，否则就不下
载。getHeaderField()方法仅仅获得服务器返回的头标志，
其通信开销是最小的，因此在下载网页前进行此测试，不仅
能减小网络流量，而且能提高程序效率。当目标网页存在时
2 调用 URLConnection 类 getInputStream()函数明确打
开 到 URL 的 连 接 ， 获 取 输 入 流 ， 再 用 java.io 包 中 的
InputStreamReader 类读取该输入流，将网页下载下来。
剩余179页未读，继续阅读
