scrapy-redis分布式爬虫猫眼票房数九案例

### Scrapy-Redis 分布式爬虫实例教程

#### 使用Scrapy-Redis抓取猫眼电影票房数据

为了构建一个能够高效抓取猫眼电影票房数据的分布式爬虫，可以采用`Scrapy-Redis`框架来管理多个节点之间的请求队列共享。这不仅提高了爬取效率，还增强了系统的健壮性和扩展能力。

#### 安装依赖库

首先安装必要的Python包：

pip install scrapy redis scrapy-redis

#### 配置项目结构

创建一个新的Scrapy项目并配置其设置文件以支持Redis连接:

# settings.py
ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 300,
}

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

REDIS_HOST = 'localhost'
REDIS_PORT = 6379

上述配置使得项目的调度器和去重过滤器都由Redis处理[^1]。

#### 编写Spider逻辑

定义用于启动URLs列表以及解析页面的方法，在此过程中需特别注意遵循目标网站的服务条款与robots.txt规定。

import scrapy
from urllib.parse import urljoin


class MaoyanMovieSpider(scrapy.Spider):
    name = 'maoyan_movie_spider'
    
    allowed_domains = ['maoyan.com']
    start_urls = [
        'http://maoyan.com/films/1170264'  # 示例中的具体影片链接[^3]
    ]

    def parse(self, response):
        title = response.css('h3.name::text').get()
        box_office = response.xpath('//span[@class="stonefont"]/text()').extract_first()

        yield {
            'title': title.strip(),
            'box_office': ''.join(box_office).strip(),  # 处理可能存在的多余空白字符
        }

        next_page_url = response.css('.channel-detail.movie-item-title a::attr(href)').getall()[0:5]

        for href in next_page_url:
            absolute_next_page_url = urljoin(response.url, href)
            yield scrapy.Request(url=absolute_next_page_url, callback=self.parse)

这段代码实现了对单部电影详情页的基本信息提取，并尝试获取更多关联页面继续深入挖掘其他相关资料。

#### 启动多台机器上的爬虫进程

确保每台计算机上已正确设置了相同的环境变量指向同一套Redis服务端；之后可以在不同主机间并发执行如下命令开启各自独立却又协同工作的爬虫实例：

scrapy crawl maoyan_movie_spider -a spider_name=maoyan_movie_spider

通过这种方式，所有参与协作的任务都将被集中管理和分配给各个工作节点完成最终的数据收集任务。