hive sql怎么把一个字符串类型的json数组拆分成多行数据,一行一个json
时间: 2024-09-28 07:12:56 浏览: 43
在Hive SQL中,你可以使用`split()`和`explode()`函数来实现从JSON数组中提取数据并转换成多行。假设你有一个名为`params`的列,其中包含JSON格式的数组,如示例所示:
1. 首先,替换数组中的逗号与花括号为竖线(`|`),以便于后续处理[^1]:
```sql
SELECT params
FROM (
SELECT replace(regexp_replace(params['pet_info'], '^\\[(.+)\\]$', '$1'), '\\}\\,\\{', '\\}\\|\\|\\{') AS modified_pet_info
FROM db_a.dwd_event_log
WHERE p_date = '${DATE}'
AND app_id = 165018
AND event = 'pet_flow'
AND LIMIT 1
) modified_json
```
2. 接着,使用`split()`函数以竖线作为分隔符拆分JSON字符串:
```sql
SELECT split(modified_pet_info, '\\|\\|') AS pet_info_array
FROM modified_json
```
3. 最后,通过`lateral view explode()`函数行转列,将数组元素转换为单独的行:
```sql
SELECT pet_info
FROM modified_json
LATERAL VIEW explode(pet_info_array) exploded_array AS pet_info
```
这样,每一行就会包含原始JSON数组的一个元素,作为新的一行数据。
效果将会是:
```
+------------------------+
| pet_info |
+------------------------+
| {"key": "value1", ...} |
| {"key": "value2", ...} |
| ... |
+------------------------+
```
每个`pet_info`都是一个独立的对象,表示原数组中的一个条目。
阅读全文