python调用API接口获取和解析Json数据_python调用api接口代码 - CSDN文库

1星 157 浏览量更新于2023-03-03 评论 10 收藏 75KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

python 调用调用API接口接口获取和解析获取和解析 Json数据数据

任务背景：任务背景：

调用API接口数据，抽取我们所需类型的数据，并写入指定mysql数据库。

先从宏观上看这个任务，并对任务进行分解：

step1：需要学习python下的通过url读取数据的方式；

step2：数据解析，也是核心部分，数据格式从python角度去理解，是字典？列表？还是各种嵌套？

step3：连接mysql数据库，将数据写入。

从功能上看，该数据获取程序可以分为3个方法，即step1对应方法request_data()，step2对应方法parse_data()，step3对应data_to_db()。

第一轮，暂不考虑异常，只考虑正常状态下的功能实现。第一轮，暂不考虑异常，只考虑正常状态下的功能实现。

1、先看、先看request_data():

import requests

def request_data(url):

req = requests.get(url, timeout=30) # 请求连接

req_jason = req.json() # 获取数据

return req_jason

入参：url地址；return：获取到的数据。

2、然后看、然后看parse_data():

不同的API接口下的数据格式各不相同，需要先理清，打开之后密密麻麻一大串，有的可能连完整的一轮数据间隔在哪都不知道，这时候可以巧

用符号{ [ , ] }辅助判断。

梳理之后，发现本接口下的数据格式为，最外层为字典，我们所需的数据在第一个key“data”下，data对应的value为列表，列表中的每个元素为字

典，字典中的部分键值

即为我们需要的内容。这样，就明确了我们的数据结构为字典套列表，列表再套字典的格式，最后一层的字典还存在一键多值（比如“weather”）

的情况。

当然，还有懒人方法，就是百度json在线解析格式化。

摘取部分数据如下：{“data”:[{“timestamp_utc”:”2020-08-31T08:00:00″,”weather”:{“icon”:”c02d”,”code”:802，

wind_dir”:336,”clouds_hi”:0,”precip”:0.0625},{“timestamp_utc”:”2020-08-31T08:00:00″,”weather”:{“icon”:”c02d”,”code”:802,}，

wind_dir”:336,”clouds_hi”:0,”precip”:0.0625],”city_name”:”Dianbu”,”lon”:117.58,”timezone”:”Asia\/Shanghai”,”lat”:31.95,”country_code”:”CN”}

def parse_data（req_jason):

data_trunk = req_jason['data']# 获取data键值下的列表

time_now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S") #获取当前时刻

for i in range(len(data_trunk)):

data_unit = data_trunk[i] # 依次获取列表下第i个元素即字典

del data_unit['weather'] # 删除该字典中不需要的一键多值的key和value，不删除的话会影响后续的dataframe转换，但是，如果该键值需要的话，需要采取其他处理方式

df = pd.DataFrame([data_unit]) # 将删除键值后的字典转为datafrme

list_need = ['timestamp_utc', 'wind_dir', 'precip','clouds_hi'] # 列出我们需要的列

df_need = df[list_need] # 保留df中需要的列 10 df_need.insert(0, 'update_time', time_now) #表格中还需额外增加获取数据的当前时间，并且需要放在dataframe的第一列

备注：数据插入数据库，有两种方式，一种是采用insert的sql语句，采用字典的形式插入，另一种是采用dataframe的方式，采用pandas中的

to_sql方法。本案例选择了后者，所以在数据解析时，将字典数据转成dataframe格式。

入参：获取到的数据；return值：无

运行以后，发现这样的程序存在一些问题：就是这个for循环括起来的过多，导致写数据库时是一条条写入而不是一整块写入，会影响程序效率，

所以需要对程序进行如下修改：

def parse_data（req_jason):

data_trunk = req_jason['data']# 获取data键值下的列表

time_now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S") #获取当前时刻

for i in range(len(data_trunk)):

data_unit = data_trunk[i] # 依次获取列表下第i个元素即字典

del data_unit['weather'] # 删除该字典中不需要的一键多值的key和value，不删除的话会影响后续的dataframe转换，但是，如果该键值需要的话，需要采取其他处理方式

df = pd.DataFrame(data_trunk) # 将删除键值后的整个列表套字典转为datafrme

list_need = ['timestamp_utc', 'wind_dir', 'precip','clouds_hi'] # 列出我们需要的列

df_need = df[list_need] # 保留df中需要的列

df_need.insert(0, 'update_time', time_now) #表格中还需额外增加获取数据的当前时间，并且需要放在dataframe的第一列

也就是从第7行之后跳出循环；

如果觉得for循环影响整体美观，也可以用map代替，将代码第4/5/6行改为如下代码，不过性能上来说可能还是for循环更好，具体对比可看其他博

主的测试，或者自己测试下运行时间。

map(data_trunk.pop, ['weather'])

3. 最后就是最后就是data_to_sql（）：（）：

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

评论1

weixin_38716205

2021-12-14

这些在网上都写着还附上这个干嘛不是代码案例 /:819

weixin_38699724

粉丝: 6
资源: 934

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈