python爬虫使用@retry()每隔5分钟重试 python代码
时间: 2024-05-16 15:12:08 浏览: 151
这段代码是一个Python爬虫程序,用于从百度图片搜索中抓取指定关键词的图片避开了反爬机制,超时或被屏蔽会自动重试
可以使用@retry()来实现爬虫失败后每隔一定时间自动重试,其中@retry()是一个装饰器函数,可以在需要重试的函数上加上该装饰器。具体使用方法可以参考以下示例代码:
```
import requests
from retrying import retry
# 设置重试次数和间隔
@retry(stop_max_attempt_number=3, wait_fixed=5*60*1000)
def get_url(url):
response = requests.get(url)
return response
url = "http://www.example.com"
response = get_url(url)
```
上述代码中,设置了最多重试3次,每次重试的间隔为5分钟。如果请求失败,则会每隔5分钟自动重试,直至达到重试次数上限或成功获取到数据。
阅读全文