爬虫text数据如何转化成json,并爬取json里的内容
时间: 2024-05-31 20:02:58 浏览: 211
使用requests框架爬取jd商品信息
将爬虫获取到的text数据转化成json格式需要使用Python内置的json库,具体操作可以参考以下代码:
```python
import requests
import json
# 发送请求
url = 'http://example.com'
response = requests.get(url)
text_data = response.text
# 将text数据转化成json
json_data = json.loads(text_data)
# 访问json数据
print(json_data['key'])
```
其中,`json.loads()`函数将text数据转化成json格式,`json_data['key']`可以访问json数据中的`key`值。
需要注意的是,转化成json的text数据必须符合json格式要求,否则会报错。在爬取json数据时,可以按照正常的访问json数据的方法进行操作,例如使用字典的方式获取json数据中的内容。
阅读全文