scrapy xpath

Scrapy 是一个基于 Python 的爬虫框架，支持使用 XPath 或 CSS 选择器来提取网页数据。使用 XPath 提取数据的步骤如下：

1. 导入 scrapy 和 Selector 类：

import scrapy
from scrapy.selector import Selector

2. 在 spider 中发送请求并创建 Selector 对象：

class MySpider(scrapy.Spider):
    name = "myspider"
    start_urls = ['http://example.com']

    def parse(self, response):
        # 创建 Selector 对象
        selector = Selector(response)
        # 接下来可以使用 XPath 提取数据
        pass

3. 使用 XPath 提取数据：

# 提取所有 h1 标签的文本内容
h1_text_list = selector.xpath('//h1/text()').extract()

# 提取第一个 div 标签的 class 属性值
div_class = selector.xpath('//div/@class').extract_first()

# 提取所有 div 标签的 class 属性值
div_class_list = selector.xpath('//div/@class').extract()

在 XPath 中可以使用各种匹配规则和函数来选择网页元素，具体语法可以参考 XPath 文档。