scrapy 布隆过滤器中间件编写

在 Scrapy 中使用布隆过滤器中间件可以有效地过滤掉已经爬取过的重复URL，提高爬虫的效率。下面是一个简单的示例，展示了如何编写一个布隆过滤器中间件：

from scrapy.dupefilters import BaseDupeFilter
from scrapy.utils.request import request_fingerprint

from redis import Redis
from redis_bloom_filter import BloomFilter


class BloomFilterDupeFilter(BaseDupeFilter):
    def __init__(self, redis_host='localhost', redis_port=6379, redis_db=0, redis_key='bloomfilter'):
        self.redis_host = redis_host
        self.redis_port = redis_port
        self.redis_db = redis_db
        self.redis_key = redis_key

    @classmethod
    def from_settings(cls, settings):
        redis_host = settings.get('REDIS_HOST', 'localhost')
        redis_port = settings.get('REDIS_PORT', 6379)
        redis_db = settings.get('REDIS_DB', 0)
        redis_key = settings.get('BLOOMFILTER_KEY', 'bloomfilter')
        return cls(redis_host, redis_port, redis_db, redis_key)

    def open(self):
        self.redis = Redis(host=self.redis_host, port=self.redis_port, db=self.redis_db)
        self.bloomfilter = BloomFilter(redis=self.redis, key=self.redis_key)

    def close(self, reason=''):
        self.redis.close()

    def request_seen(self, request):
        fp = request_fingerprint(request)
        if self.bloomfilter.exists(fp):
            return True
        self.bloomfilter.add(fp)
        return False

    def clear(self):
        self.redis.delete(self.redis_key)

在上述代码中，我们使用了 `redis-bloom-filter` 库来实现布隆过滤器。首先，我们创建了 `BloomFilterDupeFilter` 类，继承自 `BaseDupeFilter`。在 `__init__` 方法中，我们接收 Redis 的相关配置参数，如主机、端口、数据库和键名。

`from_settings` 方法可以从 Scrapy 的配置中获取 Redis 和布隆过滤器的相关配置，这样可以更方便地在 Scrapy 的配置文件中进行设置。

在 `open` 方法中，我们初始化 Redis 连接，并创建一个 Bloom Filter 对象。

`request_seen` 方法用于判断一个请求是否已经被处理过。我们使用请求的指纹（通过 `request_fingerprint` 方法计算）作为布隆过滤器的键，如果该键已经存在于布隆过滤器中，则表示该请求已经被处理过，返回 True；否则，将请求的指纹添加到布隆过滤器中，并返回 False。

`clear` 方法用于清空布隆过滤器中的所有数据。

最后，在 Scrapy 的配置文件中，你需要启用该中间件，并设置相应的参数：

DUPEFILTER_CLASS = 'your_scrapy_project.middlewares.BloomFilterDupeFilter'
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
REDIS_DB = 0
BLOOMFILTER_KEY = 'bloomfilter'

上述代码中的 `'your_scrapy_project.middlewares.BloomFilterDupeFilter'` 需要根据你的项目结构和文件位置进行修改。

这是一个简单的示例，你可以根据自己的需求对布隆过滤器中间件进行扩展和优化。