Python urllib2模块深度解析：Proxy、Timeout与HTTP方法

"深入解析Python中的urllib2模块，包括Proxy设置、Timeout配置、Header添加、Redirect处理、Cookie管理、HTTP的PUT和DELETE方法的使用以及获取HTTP返回码和Debug日志记录等关键知识点。" 在Python编程中，urllib2模块是用于处理URL的库，它提供了丰富的功能，包括发送HTTP请求、处理重定向、管理Cookie等。以下是对urllib2模块一些核心特性的详细解析： 1. Proxy设置： urllib2默认会根据系统环境变量http_proxy来设定HTTP代理。如果需要在代码中明确指定代理，可以创建一个`ProxyHandler`对象，例如： ```python import urllib2 enable_proxy = True proxy_handler = urllib2.ProxyHandler({"http": 'http://some-proxy.com:8080'}) null_proxy_handler = urllib2.ProxyHandler({}) if enable_proxy: opener = urllib2.build_opener(proxy_handler) else: opener = urllib2.build_opener(null_proxy_handler) ``` `build_opener()`方法用于构建一个OpenerDirector对象，它可以处理各种处理器，如ProxyHandler。`install_opener()`则可以将这个opener设置为全局默认，方便后续请求。 2. Timeout设置： 在Python 2.6之前，设置超时需要修改全局的Socket超时值： ```python import urllib2 import socket socket.setdefaulttimeout(10) # 设置10秒超时 ``` 自Python 2.6起，urllib2提供了一个更直接的方法设置请求超时： ```python urllib2.urlopen(url, timeout=10) # 设置10秒超时 ``` 3. 在HTTP Request中加入特定的Header： 可以通过Request对象来添加自定义Header，例如： ```python req = urllib2.Request('http://example.com', headers={'User-Agent': 'Mozilla/5.0'}) response = urllib2.urlopen(req) ``` 4. Redirect处理： urllib2默认会自动处理HTTP状态码为3xx的重定向，但也可以通过设置Request对象的`get_method()`方法来改变重定向行为。 5. Cookie管理： 可以使用`cookielib`库与urllib2结合处理Cookie。首先创建一个CookieJar对象，然后将其添加到opener中： ```python import cookielib cookie_jar = cookielib.CookieJar() opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie_jar)) urllib2.install_opener(opener) ``` 6. 使用HTTP的PUT和DELETE方法： urllib2默认只支持GET和POST，但可以通过自定义Request对象的方法来实现PUT和DELETE： ```python req = urllib2.Request('http://example.com', data, {'Method': 'PUT'}) response = urllib2.urlopen(req) ``` 7. 获取HTTP返回码： 从Response对象中可以获取HTTP状态码： ```python response = urllib2.urlopen('http://example.com') print(response.getcode()) ``` 8. Debug Log： 为了调试，可以启用debug模式，设置HTTPHandler的debuglevel： ```python import urllib2 handler = urllib2.HTTPHandler(debuglevel=1) opener = urllib2.build_opener(handler) urllib2.install_opener(opener) ``` 了解并掌握这些urllib2的使用细节，将有助于编写更高效、可靠的网络请求代码。在实际应用中，还可以考虑使用更新的`requests`库，它提供了更简洁易用的接口，但在某些场景下，urllib2仍然是一个可靠的工具。