pipeline处理多个spider数据

在Scrapy中，我们可以使用pipeline来处理多个spider的数据。Pipeline是Scrapy中用来处理Item的组件，它提供了一种机制，可以方便地将Item传递给不同的处理器，以便进行后续处理。以下是如何处理多个spider数据的步骤：

1. 创建Pipeline类

首先，我们需要创建一个Pipeline类来处理多个spider的数据。在这个类中，我们可以定义一些处理器来处理不同的Item。例如，我们可以定义一个处理器来保存数据到数据库，另一个处理器来保存数据到文件等等。

2. 在settings.py中启用Pipeline

在settings.py文件中，我们需要启用我们刚刚创建的Pipeline类。我们可以使用ITEM_PIPELINES设置来指定我们的Pipeline类。

3. 在Spider中调用Pipeline

最后，在Spider中，我们可以通过yield语句将Item传递给Pipeline进行处理。Pipeline将对Item进行处理，并将其传递给下一个处理器。

下面是一个示例Pipeline类的代码：

import json

class MyPipeline(object):
    def __init__(self):
        self.file = open('items.json', 'wb')

    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line)
        return item

    def spider_closed(self, spider):
        self.file.close()

在这个示例中，我们定义了一个MyPipeline类，它将Item保存到JSON文件中。在process_item方法中，我们将Item转换为JSON字符串，并将其写入文件中。在spider_closed方法中，我们关闭文件。

在settings.py文件中，我们可以使用以下代码来启用我们的Pipeline类：

ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

在Spider中，我们可以通过以下代码将Item传递给Pipeline进行处理：

def parse(self, response):
    item = MyItem()
    # 填充item数据
    yield item

在这个示例中，我们使用yield语句将Item传递给Pipeline进行处理。Pipeline将对Item进行处理，并将其传递给下一个处理器。