Java实现网络爬虫开发：从基础到实战

自己动手写网络爬虫（java） 网络爬虫是搜索引擎领域中一个非常重要的概念，它们使得搜索引擎可以获取数以亿计的网页并且实时更新。网络爬虫的基本操作是抓取网页，抓取网页的过程其实和读者平时使用IE浏览器浏览网页的道理是一样的。抓取网页需要理解URL的概念，URL是 Uniform Resource Locator 的缩写，直观地讲，URL就是在浏览器端输入的http://www.lietu.com这个字符串。 在理解URL之前，首先要理解URI的概念，URI是 Universal Resource Identifier 的缩写，Web上每种可用的资源，如HTML文档、图像、视频片段、程序等都由一个通用资源标志符（Universal Resource Identifier，URI）进行定位。URI通常由三部分组成：①访问资源的命名机制；②存放资源的主机名；③资源自身的名称，由路径表示。 抓取网页需要使用HTTP协议，HTTP协议是 HyperText Transfer Protocol 的缩写，它是用来从网络服务器上获取数据的协议。HTTP协议的状态码是指服务器端返回的状态码，常见的状态码有200、404、500等。 在java语言中，可以使用HttpURLConnection类来抓取网页，HttpURLConnection类提供了很多方法来设置请求头、获取响应头、获取响应体等。例如，可以使用setRequestMethod方法设置请求方法，使用setRequestProperty方法设置请求头，使用getResponseCode方法获取响应状态码，使用getResponseMessage方法获取响应信息。 爬虫抓取下来的一些信息可以作为数据仓库多维展现的数据源，也可以作为数据挖掘的来源。甚至有人为了炒股，专门抓取股票信息。爬虫技术的应用非常广泛，从美国中情局到普通老百姓都需要。 在java语言中，可以使用正则表达式来解析抓取下来的网页，正则表达式是指一种字符串模式匹配的表达式，可以用来匹配、验证、提取字符串中的模式。例如，可以使用Pattern类和Matcher类来匹配网页中的某些模式。 本章将全面介绍网络爬虫的方方面面，读完之后，你将完全有能力自己写一个网络爬虫，随意抓取互联网上任何感兴趣的东西。