scrapy框架的spider如何写

Scrapy框架的Spider是用来定义爬取网站的规则、解析页面并提取数据的。以下是一个简单的Scrapy框架Spider的编写示例：

import scrapy

class MySpider(scrapy.Spider):
    name = "example"
    start_urls = [
        'http://www.example.com/page1.html',
        'http://www.example.com/page2.html',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

在这个示例中，我们定义了一个名为MySpider的Spider类，并设置了name属性和start_urls属性。start_urls属性是一个包含需要爬取的URL的列表。在parse方法中，我们使用了CSS选择器来解析页面，并使用yield语句返回字典形式的数据，这些数据将被传递到Scrapy的Item Pipeline进行处理。在这个示例中，我们使用response.follow方法来跟进页面中的链接，继续爬取下一页的数据。

需要注意的是，每个Spider实例都是对应一个单独的请求/响应处理过程，因此在parse等回调函数中不能直接共享变量。如果需要共享变量，可以使用Scrapy的Item Pipeline来处理。