scrapy-redis如何设置超时停止，在使用scrapy-redis时程序会一直等待

Scrapy-redis有一个参数`SCHEDULER_IDLE_BEFORE_CLOSE`，它是一个等待时间，表示在爬虫程序空闲一段时间之后，就会关闭程序。你可以在settings.py文件中设置这个参数的值，以控制空闲等待时间。

另外，你可以通过设置`CLOSESPIDER_TIMEOUT`参数，在程序运行超过一定时间后就会关闭爬虫程序。这个参数的单位是秒，你可以在settings.py文件中设置它的值。如果你想要在爬虫程序运行一定时间后自动停止程序，可以设置这个参数。

例如：

# settings.py
CLOSESPIDER_TIMEOUT = 3600 # 爬虫程序运行1小时后自动停止程序
SCHEDULER_IDLE_BEFORE_CLOSE = 10 # 空闲10秒后关闭程序

这样就可以在程序运行一定时间后停止程序了。

相关问题

scrapy-redis分布式爬虫和scrapy-redis主从式区别

Scrapy-redis分布式爬虫是将不同的爬虫机器连接在一起，共同完成一个大型爬虫任务，每个爬虫机器都负责一部分网站的数据爬取；而Scrapy-redis主从式是将爬虫机器分为主节点和从节点，主节点承担调度任务和数据入库等职责，从节点负责数据爬取。简单来说，分布式将任务分散到多个机器上执行，而主从式则是将任务分配给一个主节点来控制。

scrapy-redis有官网吗，能帮我查找一下scrapy-redis的中文官方文档吗？

是的，scrapy-redis有官网。你可以访问http://scrapy-redis.readthedocs.io/en/stable/以获取scrapy-redis的官方文档。

同时，此处也提供了中文翻译版的scrapy-redis官方文档：https://scrapy-redis.readthedocs.io/zh_CN/latest/。