crawlspider分布式爬虫与mongodb数据库实例

以下是一个实例，演示了如何使用CrawlSpider分布式爬虫将数据存储到MongoDB数据库中。

1. 安装pymongo库

pip install pymongo

2. 创建一个Scrapy项目

scrapy startproject myproject

3. 创建一个Spider，继承自CrawlSpider

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from pymongo import MongoClient

class MySpider(CrawlSpider):
    name = 'myspider'

    rules = (
        Rule(LinkExtractor(), callback='parse_item', follow=True),
    )

    def __init__(self):
        self.client = MongoClient()
        self.db = self.client['mydatabase']

    def parse_item(self, response):
        item = {}
        item['title'] = response.xpath('//title/text()').extract_first()
        item['url'] = response.url
        self.db['mycollection'].insert_one(item)
        return item

在这个Spider中，我们使用了MongoClient连接到本地的MongoDB数据库，并在parse_item方法中使用insert_one将数据存储到名为mycollection的集合中。

4. 在settings.py文件中添加MongoDB的配置

MONGO_URI = 'mongodb://localhost:27017/'
MONGO_DATABASE = 'mydatabase'

5. 在命令行中运行分布式爬虫

scrapy crawl myspider -s JOBDIR=crawls/myspider-1

在这个命令中，我们使用JOBDIR参数指定了爬虫任务的保存路径，以便在分布式爬虫中断后，可以恢复之前的爬取进度。

6. 在另一台计算机上运行分布式爬虫

scrapy crawl myspider -s JOBDIR=crawls/myspider-2

在这个命令中，我们使用JOBDIR参数指定了不同的保存路径，以便在不同的计算机上运行爬虫任务。

通过以上步骤，我们可以使用CrawlSpider分布式爬虫将数据存储到MongoDB数据库中。注意，在使用分布式爬虫时，需要考虑数据同步、任务分配等问题。