如何在使用 Scrapy 爬虫框架时，将数据写入文件item 对象转换为json格式

在使用 Scrapy 爬虫框架时，可以使用 Scrapy 提供的 `JsonLinesItemExporter` 或者 `JsonItemExporter` 来将爬取到的数据转换为 JSON 格式并写入文件。具体操作步骤如下：

1. 在 `settings.py` 文件中添加以下配置：

FEED_FORMAT = "jsonlines"  # 设置输出格式为 jsonlines
FEED_URI = "output.json"   # 设置输出文件的路径

2. 在 `pipelines.py` 文件中引入 `JsonLinesItemExporter` 或者 `JsonItemExporter`：

from scrapy.exporters import JsonLinesItemExporter

class MyPipeline(object):
    
    def __init__(self):
        self.file = open('output.json', 'wb')
        self.exporter = JsonLinesItemExporter(self.file, encoding='utf-8', ensure_ascii=False)

    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

    def close_spider(self, spider):
        self.file.close()

其中，`JsonLinesItemExporter` 和 `JsonItemExporter` 的区别在于前者会将每个 item 转换为一行 JSON 数据，而后者会将所有 item 转换为一个 JSON 数组。

这样，在爬取数据时，就会将数据以 JSON 格式写入到指定的文件中。