Python爬虫：requests库与XPath解析实战

在爬虫学习的第三天，我们深入探讨了两个关键主题：requests库的高级用法以及XPath解析器的技巧。 **1. requests库的进阶应用** requests库是Python中最常用的基础HTTP客户端，它简化了网络请求的处理。在这个部分，我们重点回顾了以下几个核心概念： - `requests.request()`函数是基础接口，支持多种HTTP方法（GET、POST、PUT、DELETE），并允许设置参数、数据、JSON格式上传，以及文件上传。例如，`requests.get(url, params=params)`用于发送GET请求，传递查询参数。 - `proxies`参数用于设置代理服务器，这对于处理跨域请求或访问受限制的网站很有帮助。 - `auth`用于进行基本认证或 Digest 认证，确保请求的安全性。 - `requests.Session()`创建一个会话对象，通过多次请求共享连接，提高了效率，减少了建立连接的时间开销。 - `requests.Response`对象包含了丰富的属性，如`status_code`表示HTTP状态码，`headers`存储响应头信息，`content`或`text`获取响应体内容，`cookies`处理 cookies，`json()`方法则用于解析JSON格式的响应。 **2. XPath解析器的高级用法** XPath是一种强大的XML和HTML文档选择语言，用于定位文档中特定的元素。在爬虫中，XPath用于从HTML结构中提取所需的数据。以下是一些高级用法： - 路径表达式中，`/`表示从根元素开始查找，`//`表示沿着任意层级查找，`./`和`.//`分别表示从当前元素及其后代和任何后代查找。 - 位置条件如`//li[1]`选择第一个`<li>`元素，`//li[last()]`选择最后一个，`//li[position()<3]`选择前两个。 - 属性条件可以通过`[@attribute_name]`来筛选，如`//li[@id="xxxx"]`或`//li[@class=""]`，可以同时处理多个属性，如`//li[@class="a and b"]`。 - `//div[contains(@class,"page")]`匹配class属性包含"page"的div，`starts-with`和`ends-with`则分别用于查找属性值开始或结束符合特定模式的元素。 XPath的灵活度和强大功能使得在处理复杂的HTML结构时，能够高效地提取目标数据。通过熟练运用requests库和XPath解析，爬虫开发者能够更好地抓取和处理网页内容。