CrawlSpider爬虫 中间件 处理 页面反扒识别验证码 代码

在CrawlSpider中，中间件可以用来处理一些处理爬虫过程中的异常情况，例如页面反扒识别、验证码等。下面是一个处理验证码的中间件示例代码：

import logging
import requests
from scrapy import signals
from scrapy.exceptions import IgnoreRequest
from scrapy.http import HtmlResponse

logger = logging.getLogger(__name__)

class CaptchaMiddleware:
    def __init__(self, crawler):
        self.crawler = crawler
        self.max_retry_times = crawler.settings.getint('CAPTCHA_MAX_RETRY_TIMES', 3)

    @classmethod
    def from_crawler(cls, crawler):
        middleware = cls(crawler)
        crawler.signals.connect(middleware.spider_closed, signal=signals.spider_closed)
        return middleware

    def process_response(self, request, response, spider):
        if response.status == 429:  # Too Many Requests
            retry_times = request.meta.get('retry_times', 0) + 1
            if retry_times > self.max_retry_times:
                raise IgnoreRequest(f"{request.url} reached max retry times {self.max_retry_times}")

            logger.warning(f"{request.url} got Too Many Requests, retrying ({retry_times}/{self.max_retry_times})")
            self._wait_for_retry()
            return self._retry(request)

        if self._detect_captcha(response):
            logger.warning(f"{request.url} requires captcha, solving...")
            captcha = self._solve_captcha(response)
            if captcha:
                logger.warning(f"{request.url} captcha solved, retrying...")
                return self._retry(request, captcha=captcha)

            logger.warning(f"{request.url} captcha not solved, giving up")
            raise IgnoreRequest(f"{request.url} requires captcha")

        return response

    def _wait_for_retry(self):
        retry_delay = self.crawler.settings.getint('CAPTCHA_RETRY_DELAY', 60)
        time.sleep(retry_delay)

    def _retry(self, request, **kwargs):
        retry_request = request.copy()
        retry_request.dont_filter = True
        retry_request.meta['retry_times'] = request.meta.get('retry_times', 0) + 1

        if 'captcha' in kwargs:
            retry_request.headers['Cookie'] += f"; captcha={kwargs['captcha']}"

        return retry_request

    def _detect_captcha(self, response):
        # TODO: implement your own captcha detection logic
        return False

    def _solve_captcha(self, response):
        # TODO: implement your own captcha solving logic
        return None

    def spider_closed(self, spider):
        pass

在上面的代码中，我们实现了一个名为CaptchaMiddleware的中间件，用于处理页面反扒识别验证码。每当爬虫请求一个页面时，中间件的process_response方法会被调用。首先，我们检查响应状态码是否为429（即“Too Many Requests”），如果是，则重试请求。如果响应中包含验证码，我们就调用_solve_captcha方法来解决验证码。如果解决成功，我们使用_retry方法重试请求，并将验证码作为请求头的cookie发送。如果验证码解决失败，则使用IgnoreRequest抛出异常，爬虫将跳过当前请求并继续处理下一个请求。

在中间件中，我们使用了一些爬虫配置项来控制验证码处理的行为，例如设置最大重试次数、重试间隔时间等。这些配置项可以在settings.py文件中进行定义。

注意：上面是一个示例代码，具体的验证码检测和解决逻辑需要根据不同的网站进行定制化实现。