scrapy_redis分布式爬虫中，子机如何连接主机的 redis

在Scrapy Redis分布式爬虫架构中，子节点（Spider Workers）通常需要连接到主节点（Redis Server）来获取待抓取任务。这可以通过设置一些配置来完成：

1. **环境变量**：
子节点需要知道主节点的 IP 地址和端口。你可以通过环境变量`SCRAPY_REDIS_URL`来指定Redis服务器地址，例如：

   export SCRAPY_REDIS_URL=redis://your_host:6379/0

这里的`your_host`是你的Redis主机IP，`6379`是默认的Redis端口号，`0`代表默认的数据库。

2. **Scrapy settings**：
在Scrapy项目的settings.py文件中，添加如下设置：

   REDIS_HOST = 'your_host'
   REDIS_PORT = 6379
   ITEM_PIPELINES = {
       'scrapy_redis.pipelines.RedisPipeline': 300,
   }
   SCHEDULER = 'scrapy_redis.scheduler.Scheduler'
   SCHEDULER_PERSIST = True

这里设置了Redis服务器的主机名和端口，并启用了Redis Pipeline用于存储数据。

3. **启动爬虫**：
子节点在启动时会自动从Redis获取任务，所以只需要启动Scrapy Spider Worker，它会自动连接到配置的Redis服务器。

4. **网络隔离**：
在生产环境中，可能会遇到子节点无法直接访问Redis的情况，这时可能需要在防火墙规则、VPC网络配置等方面做相应调整，允许适当的网络通信。