Python urllib2模块教程：HTTP请求与异常处理

"这篇文档是关于如何使用Python的urllib2模块来获取网络资源的教程。它涵盖了从基础的URL提取到处理异常、使用opener和handler、基本认证以及代理等多个方面，旨在帮助用户深入理解和有效地利用urllib2进行网络请求。" 1. 概述 Python的urllib2模块提供了获取URL的工具，包括urlopen函数，可以处理多种协议的URL。它不仅有简单的接口，还支持更复杂的场景，如HTTP的基本验证、cookies和代理等，这些功能通过handler和opener对象实现。 2. 提取URL urllib2的核心是urlopen函数，可以用来打开和读取URL。它能够处理各种URL协议，如HTTP、FTP等。在简单的场景下，urlopen可以直接接收一个URL字符串并返回响应对象。 3. 数据 在提取URL时，如果需要发送数据，可以将数据作为urlopen函数的第二个参数，通常是以字节形式编码的数据。 4. Headers 在请求中添加自定义的HTTP头，可以使用Request类来创建一个包含特定头信息的请求对象，然后用urlopen打开这个对象。 5. 处理异常 urllib2模块定义了两个主要的异常类型：URLError和HTTPError。URLError用于处理所有非HTTP错误，如网络连接问题；HTTPError则用于表示HTTP服务器返回的错误状态码。 - URLError: 当URL无法打开或有其他网络问题时抛出。 - HTTPError: 表示服务器返回了非成功状态码，如404（未找到）或500（内部服务器错误）。 6. 包装起来 为了更好地管理错误处理，可以使用try/except结构包装urlopen调用，捕获可能出现的异常，并进行适当的处理。 7. info and geturl 响应对象有一个info()方法，用于获取HTTP响应头的信息，而geturl()方法则可以确认打开的URL是否与请求的一致。 8. Openers and Handlers opener是urllib2的核心组件，它是一组handler的集合，可以处理不同类型的请求。Handler负责特定的任务，如处理基本认证、处理代理等。通过添加合适的handler到opener，可以定制网络请求的行为。 9. 基本认证 urllib2支持HTTP的基本认证，通过添加HTTPBasicAuthHandler到opener，可以自动处理需要用户名和密码的URL。 10. 代理 若需通过代理访问网络，可以使用HTTPProxyHandler来设置代理服务器的地址和端口。 11. Sockets and Layers urllib2底层使用socket模块进行网络通信，但通常用户无需直接操作socket，除非有特殊需求，如设置超时或自定义TCP选项。 12. 备注 文档中提到了对于简单情况urlopen易于使用，但在遇到错误或复杂情况时，需要对HTTP协议有一定的理解。 13. 索引 文档末尾提供了一个索引，方便查找特定主题。 本教程为开发者提供了一个全面的指南，解释了如何使用urllib2来处理网络请求的各种情况，无论是基础的URL提取还是复杂的认证和代理设置。