python 流式数据获取
时间: 2023-12-22 15:30:07 浏览: 238
Python数据获取
在Python中,可以使用requests库来进行流式数据获取。流式数据获取是指在网络请求过程中,逐步获取数据而不是一次性获取全部数据。这对于处理大量数据或者网络速度较慢的情况非常有用。
以下是一个使用requests库进行流式数据获取的示例代码:
```python
import requests
def streamData(url):
try:
response = requests.get(url, stream=True)
response.raise_for_status()
for chunk in response.iter_content(chunk_size=1024):
if chunk:
# 在这里对每个数据块进行处理
print(chunk)
except:
print("请求失败")
url = "http://www.example.com"
streamData(url)
```
在上面的代码中,我们通过将`stream`参数设置为`True`来启用流式数据获取。然后,我们使用`iter_content()`方法来逐块获取数据,每个数据块的大小为1024字节。你可以根据实际需求调整`chunk_size`的大小。
请注意,这只是一个简单的示例,你可以根据自己的需求对每个数据块进行处理,例如保存到文件或进行其他操作。
阅读全文