scrapy爬取数据保存csv

Scrapy可以方便地将数据保存到CSV文件中。在Scrapy项目的pipelines.py文件中，可以添加一个CSVExportPipeline类来实现将数据保存到CSV文件中的功能。以下是一个示例：

import csv

class CSVExportPipeline(object):
    def __init__(self):
        self.file = open("data.csv", "w")
        self.writer = csv.writer(self.file)

    def process_item(self, item, spider):
        row = []
        for key in item.keys():
            row.append(item[key])
        self.writer.writerow(row)
        return item

    def close_spider(self, spider):
        self.file.close()

在这个例子中，我们创建了一个CSVExportPipeline类，该类在初始化时打开一个名为“data.csv”的文件，然后在process_item方法中将每个item的值写入到该文件中。最后，在关闭spider时，我们关闭文件。请注意，这里的数据写入是按照字典键的顺序进行的，因此如果您希望按照不同的顺序写入数据，可以进行相应的修改。

要使用这个pipeline，您需要在settings.py文件中将其添加到PIPELINES列表中：

ITEM_PIPELINES = {
    'myproject.pipelines.CSVExportPipeline': 300,
}

在这个例子中，我们将CSVExportPipeline添加到了PIPELINES列表中，并给它指定了一个优先级（300）。这个优先级是可选的，但是如果您有多个pipeline，它可以帮助您确保它们按照正确的顺序运行。

现在，当您运行Scrapy爬虫时，它将自动将数据保存到名为“data.csv”的文件中。如果您需要将数据保存到不同的文件中，可以在CSVExportPipeline类中进行相应的修改。