Python爬虫入门：urllib库详解与使用

本文主要介绍了Python爬虫的基础知识，特别是如何使用内置库urllib进行HTTP请求。urllib库包括request、error、parse和robotparser四个模块，分别用于HTTP请求、异常处理、URL处理和robots.txt解析。文章着重讲解了urllib.request模块中的urlopen()函数和Request类。 在Python中，urllib.request模块提供了发送HTTP请求的基本功能。urlopen()函数是最简单的发送请求的方式，可以直接打开指定URL并返回响应。例如，要获取百度首页的内容，可以调用urlopen()函数： ```python import urllib.request response = urllib.request.urlopen('http://www.baidu.com') print(response.read().decode('utf-8')) ``` 当需要发送带有数据的请求（通常是POST请求）时，可以使用data参数。首先，需要将数据转化为bytes类型，然后使用urllib.parse.urlencode()函数编码，再传给urlopen()： ```python import urllib.request import urllib.parse data = urllib.parse.urlencode({'word': 'hello'}) data = bytes(data, encoding='utf-8') request = urllib.request.Request('http://www.example.com', data) response = urllib.request.urlopen(request) ``` Request类允许更高级的定制，比如添加headers、设置超时时间、处理验证、使用代理和处理Cookies。 1. 验证：Request类可以接受auth_handler参数，用于处理HTTP基本认证或 digest 认证。 2. 代理：通过设置proxy_handler，可以使用HTTP代理或HTTPS代理来发送请求。 3. Cookies：urllib库可以处理Cookies。可以使用HTTPCookieProcessor创建cookie处理器，并将其添加到opener中。从网站获取Cookies后，可以保存到文件，后续请求时再读取使用。 处理异常是爬虫编程中不可或缺的一部分。urllib.error模块提供了如HTTPError这样的异常类，当请求失败时，可以通过捕获这些异常来处理错误。例如，当请求超时时，可以设置超时时间并捕获Timeout异常： ```python import urllib.request try: response = urllib.request.urlopen('http://www.example.com', timeout=5) except urllib.error.URLError as e: if isinstance(e.reason, urllib.error.TimeoutError): print('请求超时') ``` 解析URL是爬虫中的另一个重要任务，urllib.parse模块提供了urlparse()函数，可以分解URL成多个部分，如协议、主机、路径、查询参数等： ```python from urllib.parse import urlparse url = 'http://www.example.com/path?query=param' parsed_url = urlparse(url) print(parsed_url.scheme) # 输出：http print(parsed_url.netloc) # 输出：www.example.com print(parsed_url.path) # 输出：/path print(parsed_url.query) # 输出：query=param ``` 通过以上介绍，我们可以了解到urllib库在Python爬虫中的基础应用，包括发送HTTP请求、处理数据、设置超时、处理异常以及解析URL等核心功能。掌握这些知识，将有助于初学者更好地构建自己的网络爬虫程序。