python爬虫解析json文件案例
时间: 2023-06-22 15:06:32 浏览: 237
假设我们要爬取一个网站返回的 JSON 数据,可以使用 Python 中的 requests 库发送 HTTP 请求,然后使用 json 库解析返回的 JSON 数据。
以下是一个简单的例子:
```python
import requests
import json
url = 'http://example.com/api/data'
response = requests.get(url)
if response.status_code == 200:
# 解析 JSON 数据
data = json.loads(response.text)
# 处理数据
for item in data:
print(item['title'])
else:
print('请求失败')
```
在上面的例子中,我们首先使用 requests 库发送 HTTP GET 请求,并将返回的响应保存在 response 变量中。然后,我们检查响应的状态码是否为 200,如果是,就使用 json.loads() 方法将响应的文本解析为 JSON 数据,并遍历数据以处理它们。
需要注意的是,如果返回的 JSON 数据非常大,我们可能需要使用流式解析器来逐步读取和解析文件,以避免将整个文件加载到内存中。可以使用 Python 中的 ijson 库来实现此功能。
阅读全文