怎么将scrapy框架爬取的结果保存进csv文件中

在 Scrapy 中，你可以使用 CsvItemExporter 保存爬取的结果到 CSV 文件中。具体步骤如下：

1. 在管道中导入 CsvItemExporter 类：

from scrapy.exporters import CsvItemExporter

2. 在管道类中定义 CsvItemExporter 对象：

class MyPipeline(object):
    def __init__(self):
        self.file = open("output.csv", 'wb')
        self.exporter = CsvItemExporter(self.file)
        self.exporter.start_exporting()

    def close_spider(self, spider):
        self.exporter.finish_exporting()
        self.file.close()

    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

在这个例子中，我们定义了一个管道类 MyPipeline，并在初始化函数中创建了一个 CsvItemExporter 对象，并打开一个文件用于保存数据。process_item() 方法将每个条目作为参数传递，并使用 CsvItemExporter 写入到文件中。close_spider() 方法在爬虫关闭时调用，用于结束 CsvItemExporter 并关闭文件。

3. 在 settings.py 文件中启用管道：

ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

在这个例子中，我们将 MyPipeline 管道类的优先级设置为 300，确保它在其他管道之前运行。

最后，在运行爬虫时，所有爬取的数据将会被保存到 output.csv 文件中。