第1关：Scrapy 爬取数据存到 MongoDB 数据库中

第1关：Scrapy是一个强大的Python爬虫框架，它能够自动化抓取网页数据并整理成结构化的信息。如果你想将爬取的数据存储到MongoDB数据库中，你可以按照以下步骤操作：

1. **安装依赖**：
- 安装Scrapy本身：`pip install scrapy`
- 安装Scrapy-MongoDB适配器：`pip install scrapy-mongodb`

2. **创建Scrapy项目**：
使用命令行创建一个新的Scrapy项目：`scrapy startproject my_crawler`

3. **配置settings.py**：
在项目的`settings.py`文件中，添加MongoDB的连接设置：

   MONGO_URI = 'mongodb://localhost:27017/mydatabase'
   ITEM_PIPELINES = {'my_crawler.pipelines.MongoDBPipeline': 300}

4. **编写管道（Pipeline）**：
创建一个名为`MongoDBPipeline.py`的文件，这是用于处理数据并将其保存到MongoDB的地方。这里你会使用Scrapy的Item Pipeline机制，如示例所示：

   from pymongo import MongoClient
   from scrapy.item import Item, Field

   class MyItem(Item):
       # 定义你要存储在MongoDB中的字段

   class MongoDBPipeline:
       def __init__(self):
           self.client = MongoClient(MONGO_URI)
           self.collection = self.client['mydatabase']['mycollection']

       def process_item(self, item, spider):
           self.collection.insert_one(dict(item))
           return item

5. **定义Spider**：
在spiders目录下，创建一个Spider，比如`myspider.py`，并在其中定义下载和解析规则。采集到的数据会自动通过Pipeline传入MongoDB。

6. **运行爬虫**：
最后，在命令行运行你的爬虫：`scrapy crawl myspider`

完成上述步骤后，Scrapy会在每次请求成功后将数据存储到指定的MongoDB集合中。