python爬虫selection用法

### Python 爬虫中 `Selector` 的使用

在Python爬虫开发过程中，`Scrapy`框架下的`Selector`类被广泛应用于HTML文档的选择与解析工作。通过该工具可以从网页源码中高效地抽取所需的数据。

#### 导入依赖包
为了使用`Selector`功能，需先安装并导入必要的库：

from scrapy.selector import Selector
import requests

#### 获取页面内容
利用`requests.get()`函数请求目标网站URL，并获取其响应体作为字符串形式的内容传递给`Selector`对象初始化参数。

url = "http://example.com"
response_text = requests.get(url).text
selector_instance = Selector(text=response_text)

#### CSS选择器应用实例
借助于CSS选择表达式的简洁性和直观性来定位节点元素及其属性值。

- **选取单个元素**

selected_element = selector_instance.css('title::text').get()
print(selected_element)  # 输出<title>标签内的文本内容

- **选取多个相同类型的兄弟结点列表**

elements_list = selector_instance.css('.product-name::text').extract()
for element in elements_list:
    print(element.strip())  # 打印商品名称列表项去除首尾空白字符后的纯文本

此处`.product-name`代表具有此类名的产品名字区域[^1]。

#### XPath路径查询方式展示
除了支持CSS样式外还兼容XPath语法来进行更为复杂的结构化匹配操作。

- **基于绝对/相对位置关系导航至指定子树范围内部的具体项目**

xpath_result = selector_instance.xpath('/html/body/div/h1/text()').getall()
print(xpath_result)  # 展现<h1>标题文字集合

- **组合条件过滤满足特定约束的记录条目**

filtered_items = selector_instance.xpath("//a[contains(@href,'https')]/@href").extract()
for item in filtered_items:
    print(item)  # 列举所有链接地址中含有'https'协议前缀<a>超链接的实际跳转目的地

上述代码片段展示了如何运用`Selector`结合不同的选择机制实现对网页DOM树的有效遍历访问以及信息采集任务[^4]。