Python爬虫基础：HTTP错误处理与Cookie使用

"爬虫基础库思维导图pdf" 在爬虫技术中，Python 提供了多个基础库，如 `urllib` 和 `requests`，这些库使得网络数据抓取变得简单。下面将详细讲解 `urllib` 库的使用方法，并结合给定的代码片段进行分析。 首先，我们看第一处代码，它展示了如何使用 `urllib.request` 模块进行基本的网页请求。`request.urlopen()` 是核心函数，用于发送 HTTP 请求到指定的 URL。`timeout` 参数用来设置超时时间，如果在此时间内服务器没有响应，就会抛出异常。这段代码处理了两种可能的错误：`HTTPError` 和 `URLError`。`HTTPError` 通常是因为服务器返回了一个非成功的状态码（如 404 或 500），而 `URLError` 包含了所有网络相关的错误，如连接超时或服务器无法访问。当 `e.reason` 是 `socket.timeout` 类型时，表示发生了连接超时，其他情况则表明请求成功。 第二处代码展示了如何处理包含非 ASCII 字符的 URL。`urllib.parse` 模块用于对 URL 进行编码和解码。在这个例子中，因为 `wd` 参数包含了中文字符 '刘德华'，直接使用 `urlopen` 会引发 `UnicodeEncodeError`。为了解决这个问题，我们可以先用 `parse.urlencode()` 对参数进行编码，然后将其附加到 URL 后面。最后，使用编码后的 URL 发送请求，并通过 `getcode()` 方法获取服务器返回的状态码，以检查请求是否成功。 第三处代码涉及到了 `urllib` 中的 Cookie 处理。为了模拟浏览器行为，我们可以使用 `http.cookiejar.CookieJar` 来管理 Cookie。`HTTPCookieProcessor` 处理器与 CookieJar 结合，可以自动处理服务器返回的 Cookie。定义一个 `get_opener()` 函数，创建一个 OpenerDirector，它包含了一个处理 Cookie 的处理器。这样，当我们使用这个 Opener 发送请求时，它会自动处理和存储 Cookie，模拟用户会话。 总结来说，`urllib` 是 Python 中用于网络请求的基础库，提供了丰富的功能，包括请求发送、URL 解析和 Cookie 管理。在编写爬虫程序时，理解并熟练使用这些工具是至关重要的。在实际的爬虫项目中，我们还需要考虑其他因素，如反爬机制、数据解析（如使用 BeautifulSoup）、异步请求（如使用 asyncio 和 aiohttp）等，以实现更高效和灵活的数据抓取。