scrapy-redis如何设置超时停止,在使用scrapy-redis时程序会一直等待
时间: 2024-05-03 14:22:18 浏览: 230
scrapy-redis-master_scrapy-redis_juzi1122_scrapy_
Scrapy-redis有一个参数`SCHEDULER_IDLE_BEFORE_CLOSE`,它是一个等待时间,表示在爬虫程序空闲一段时间之后,就会关闭程序。你可以在settings.py文件中设置这个参数的值,以控制空闲等待时间。
另外,你可以通过设置`CLOSESPIDER_TIMEOUT`参数,在程序运行超过一定时间后就会关闭爬虫程序。这个参数的单位是秒,你可以在settings.py文件中设置它的值。如果你想要在爬虫程序运行一定时间后自动停止程序,可以设置这个参数。
例如:
```
# settings.py
CLOSESPIDER_TIMEOUT = 3600 # 爬虫程序运行1小时后自动停止程序
SCHEDULER_IDLE_BEFORE_CLOSE = 10 # 空闲10秒后关闭程序
```
这样就可以在程序运行一定时间后停止程序了。
阅读全文