spider_closed用法

`spider_closed` 是 Scrapy 中的一个信号，它在爬虫结束时被触发。开发者可以通过连接 `spider_closed` 信号和自定义的回调函数来实现自己的功能。一般来说，`spider_closed` 信号常用于执行一些清理操作，例如关闭数据库连接、保存最终的数据等。

使用 `spider_closed` 的步骤如下：

1. 导入信号：

from scrapy import signals

2. 定义自定义的回调函数：

def my_callback_function(spider):
    # do something
    pass

3. 连接 `spider_closed` 信号和回调函数：

signals.spider_closed.connect(my_callback_function)

在上面的代码中，`my_callback_function` 是自定义的回调函数，它接受一个参数 `spider`，表示当前的爬虫对象。`connect` 方法用于将 `spider_closed` 信号和回调函数连接起来。

当爬虫结束时，Scrapy 会自动触发 `spider_closed` 信号，并调用所有连接了该信号的回调函数。在回调函数中，开发者可以实现自己的清理操作，例如关闭数据库连接、保存最终的数据等。

需要注意的是，`spider_closed` 信号只有在爬虫正常结束后才会被触发。如果爬虫因为某些原因异常结束，例如网络中断或程序崩溃，那么 `spider_closed` 信号可能不会被触发，开发者需要自行处理异常情况。