我编写了一个函数爬取快照,需要传入的参数是网址名和给快照命的名,里面调用了get_screenshot_as_file函数,现在由于每个网址爬取的时间长短不一,我现在需要怎样做,才能让每次调用这个函数时,只要过了30秒,就直接爬取下一个网址
时间: 2024-05-12 22:20:30 浏览: 65
30秒才能点击跳转页面代码.zip
你可以使用Python的time模块中的sleep函数,让程序在每次爬取完一个网址后暂停30秒,然后再继续爬取下一个网址。以下是一个示例代码:
```python
import time
from selenium import webdriver
def capture_snapshot(url, filename):
driver = webdriver.Chrome()
driver.get(url)
driver.save_screenshot(filename)
driver.quit()
url_list = ["http://www.example.com", "http://www.google.com", "http://www.yahoo.com"]
for i, url in enumerate(url_list):
filename = "snapshot{}.png".format(i)
capture_snapshot(url, filename)
time.sleep(30)
```
在以上示例代码中,我们使用了一个for循环遍历网址列表,每次调用capture_snapshot函数来爬取快照,并暂停30秒后再爬取下一个网址。你可以根据自己的需要修改代码以适应你的具体情况。
阅读全文