Python调用API获取与解析JSON数据步骤详解

本文主要介绍了如何使用Python调用API接口获取和解析JSON数据，并将其存储到MySQL数据库中。任务被分解为三个步骤：获取数据、解析数据和存储数据。通过`requests`库来发送HTTP请求获取JSON数据，然后解析JSON数据，最后连接MySQL数据库并写入数据。 首先，我们需要了解如何在Python中通过URL读取数据。`requests`库是Python中常用的HTTP客户端库，用于发送HTTP请求。以下是一个简单的示例： ```python import requests def request_data(url): response = requests.get(url, timeout=30) # 发送GET请求，设置超时为30秒 data = response.json() # 将响应内容转化为JSON格式 return data ``` 在上述代码中，`requests.get()`函数用于发送GET请求到指定的URL，`timeout`参数指定了请求超时时间。`response.json()`则是将服务器返回的响应内容解析为JSON对象。 接下来是数据解析部分。JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，通常用于API接口的数据传输。解析JSON数据需要理解数据结构，如字典、列表和嵌套结构。例如，如果JSON数据结构如下： ```json { "data": [ { "timestamp_utc": "2020-08-31T08:00:00", "weather": { "icon": "c02d", "code": 802, "wind_dir": 336, "clouds_hi": 0, "precip": 0.0625 } }, { "timestamp_utc": "2020-08-31T08:00:00", "weather": { "icon": "c02d", "code": 802 }, "wind_dir": 336, "clouds_hi": 0 } ] } ``` 我们可以编写一个函数`parse_data()`来提取需要的信息。在这个例子中，`data`键的值是一个列表，列表中的每个元素都是一个字典。我们可以通过遍历这个列表并访问字典的键值来获取所需数据。 ```python def parse_data(json_data): parsed_data = [] for item in json_data['data']: parsed_item = { 'timestamp_utc': item['timestamp_utc'], 'weather_icon': item['weather']['icon'], 'weather_code': item['weather']['code'], 'wind_dir': item['wind_dir'], # ... } parsed_data.append(parsed_item) return parsed_data ``` 最后一步是将解析后的数据写入MySQL数据库。Python中可以使用`pymysql`或`mysql-connector-python`库来连接和操作MySQL数据库。以下是一个基本示例： ```python import pymysql def data_to_db(parsed_data, db_config): conn = pymysql.connect(db_config) # 使用db_config连接数据库 cursor = conn.cursor() # 假设有一个名为weather_data的表 table_columns = ', '.join(parsed_data[0].keys()) insert_query = f"INSERT INTO weather_data ({table_columns}) VALUES (%s)" for item in parsed_data: cursor.execute(insert_query, tuple(item.values())) conn.commit() cursor.close() conn.close() # 示例db_config格式：{'host': 'localhost', 'user': 'root', 'password': 'your_password', 'db': 'your_database'} db_config = {...} parsed_data = parse_data(request_data('your_api_url')) data_to_db(parsed_data, db_config) ``` 在上述代码中，我们首先创建数据库连接，然后定义SQL插入语句，循环遍历解析后的数据，将每条记录插入到数据库中。记得在操作完成后提交事务并关闭游标及连接。 总结来说，调用API接口获取和解析JSON数据，再将其存储到MySQL数据库的过程包括：使用`requests`库获取数据，理解并解析JSON数据结构，以及利用数据库连接库处理数据入库。在整个过程中，需确保处理异常情况，以保证程序的健壮性。