scrapy pipeline

Scrapy的pipeline可以将爬取到的数据进行处理和存储。在pipeline中，你可以定义处理和存储数据的方式，比如将数据存储到数据库中或者将数据写入到文件中等等。Scrapy的pipeline是一个由多个组件构成的管道，每个组件都可以对爬取到的数据进行处理。当爬虫爬取到数据后，数据会依次经过pipeline中的每个组件，直到最终被处理完毕。

下面是一个简单的pipeline示例，将爬取到的数据存储到json文件中：

import json

class JsonWriterPipeline(object):

    def open_spider(self, spider):
        self.file = open('items.jl', 'w')

    def close_spider(self, spider):
        self.file.close()

    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line)
        return item

在上面的代码中，定义了一个JsonWriterPipeline类，该类继承自object，包含了三个方法：open_spider、close_spider和process_item。open_spider方法在爬虫启动时被调用，用于打开文件以便写入数据；close_spider方法在爬虫结束时被调用，用于关闭文件；process_item方法会在爬取到每个item时被调用，用于将item转换成json格式的字符串并写入文件中。

要使用这个pipeline，需要在settings.py文件中添加以下内容：

ITEM_PIPELINES = {
    'myproject.pipelines.JsonWriterPipeline': 300,
}

其中，myproject.pipelines是pipeline的路径，JsonWriterPipeline是要使用的pipeline类名，300是pipeline的优先级，数字越小优先级越高。当爬虫爬取到数据时，数据会被传递给pipeline，pipeline会按照优先级的顺序进行处理。在本例中，JsonWriterPipeline的优先级为300，因此会在其他pipeline处理完数据后进行处理。