python调用API接口拿到10000条json数据,每次只能拿100条,分页怎么做,代码
时间: 2024-04-21 18:23:59 浏览: 178
你可以使用循环和参数来实现分页获取JSON数据。以下是一个示例代码,展示了如何使用Python调用API接口,并分页获取10000条JSON数据:
```python
import requests
url = 'https://api.example.com/data' # 替换为实际的API接口地址
params = {'page': 1, 'limit': 100} # 设置每页的数据数量和初始页数
all_data = [] # 存储所有数据的列表
while True:
response = requests.get(url, params=params)
if response.status_code == 200:
data = response.json()
all_data.extend(data) # 将当前页的数据添加到总数据列表中
if len(data) < params['limit']:
break # 如果当前页的数据数量小于每页限制的数量,说明已经获取完所有数据,结束循环
params['page'] += 1 # 增加页数,继续下一页的数据获取
else:
print('请求出错:', response.status_code)
break
print('总共获取到{}条JSON数据'.format(len(all_data)))
```
以上代码中,我们使用了`requests`库发送GET请求来获取API接口的数据。我们首先设置了API接口的URL和每页数据的数量和初始页数。然后使用一个无限循环来不断获取数据,直到获取完所有数据为止。在每次请求API接口时,我们将当前页数和每页数量作为参数传递给`requests.get()`方法。如果返回的数据量小于每页限制的数量,则说明已经获取完所有数据,我们就可以跳出循环。最后,我们打印出获取到的总数据量。
请注意,以上代码仅供参考,实际情况可能需要根据API接口的具体要求进行调整。此外,还需要确保API接口返回的数据是符合JSON格式的。
阅读全文