scrapy mongodb

### Scrapy 中集成 MongoDB 进行数据存储

#### 配置 MongoDB 参数
为了使Scrapy能够与MongoDB交互，在项目的`settings.py`文件中需定义MongoDB的相关参数。这包括指定要使用的数据库名和连接字符串[^3]。

MONGO_DB = "crawler"
MONGO_URL = "mongodb://localhost:27017"

#### 安装依赖包
确保已经安装了必要的Python库来处理MongoDB操作，比如`pymongo`。可以通过pip命令轻松完成此步骤：

pip install pymongo

#### 创建自定义 Pipeline
为了让抓取的数据可以被保存至MongoDB，创建一个新的pipeline类并将其添加到Scrapy项目的pipelines模块内。下面给出了一种简单的实现方式，该方法会接收来自spider的结果项，并尝试将它们存入预先设定好的集合当中。

import pymongo


class MongoPipeline:

    collection_name = 'scraped_items'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE', 'items')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db[self.collection_name].insert_one(dict(item))
        return item

这段代码实现了基本的功能需求，即每当有新的item通过时就调用`process_item()`函数执行插入动作；当爬虫启动/关闭的时候分别建立/断开同MongoDB之间的链接关系[^2]。

#### 更新 Settings 文件启用 Pipelines
最后一步是在`settings.py`里面激活刚才编写的pipeline组件，这样Scrapy才知道应该把收集来的信息交给谁去处理。

ITEM_PIPELINES = {
   '<project>.pipelines.MongoPipeline': 300,
}

以上就是关于如何在Scrapy项目中集成和使用MongoDB作为数据存储的一个简单介绍[^4]。