scrapy 爬取详情页

Scrapy是一个基于Python的开源网络爬虫框架，它可以帮助开发者快速高效地抓取网站信息。当需要爬取网站的详情页时，可以通过以下步骤实现：

1. 在Spider中解析列表页的链接，获取每个详情页的URL；
2. 在Spider中定义一个回调函数，用于解析每个详情页的内容；
3. 在回调函数中，通过XPath或CSS选择器等方式解析出需要爬取的内容，并将其存储到Item对象中；
4. 将Item对象通过yield返回给Pipeline，进行后续处理和存储。

以下是一个示例代码，展示如何使用Scrapy爬取详情页：

import scrapy

class MySpider(scrapy.Spider):
    name = "myspider"
    start_urls = ["https://www.example.com/list"]

    def parse(self, response):
        # 解析列表页的链接，获取每个详情页的URL
        for link in response.xpath("//a[@class='detail-link']/@href"):
            yield scrapy.Request(link.extract(), callback=self.parse_detail)

    def parse_detail(self, response):
        # 解析详情页的内容，存储到Item对象中
        item = {}
        item['title'] = response.xpath("//h1/text()").extract_first()
        item['content'] = response.xpath("//div[@class='content']/text()").extract()
        yield item