hive sql 处理多层json数组

使用Hive SQL处理多层JSON数组
当使用Hive SQL来处理包含多层JSON数组的数据时，可以利用内置函数get_json_object以及json_tuple解析JSON字符串。对于更复杂的嵌套结构，通常会结合LATERAL VIEW和explode函数一起使用。
解析单级JSON对象
对于简单的JSON字段提取，可以直接应用get_json_object：
SELECT get_json_object(json_column, '$.key') AS value FROM table_name;

此方法适用于基本键值对形式的JSON数据[^1]。
处理多层嵌套JSON数组
针对多层次嵌套的情况，则需采用更为复杂的方式来进行拆分和平铺操作。下面是一个具体例子展示如何读取并展开具有两层嵌套结构(array_of_objects)中的元素：
WITH exploded_data AS (
SELECT
id,
explode(array_of_objects) as single_obj
FROM source_table
)

SELECT
t.id,
get_json_object(t.single_obj, '$.nestedKey') nested_value,
explode(get_json_object(t.single_obj, '$.innerArray')) inner_element
FROM exploded_data t;

上述查询首先通过CTE(Common Table Expression)创建了一个临时表，在其中执行了一次爆炸(explode)，将外层数组里的每一个对象单独取出；接着再次调用get_json_object获取内部属性，并进一步对外部对象内的内层数组进行了第二次爆炸操作，从而实现了对整个层次结构的有效遍历与访问。
为了支持这种类型的分区裁剪优化，确保启用了配置参数spark.sql.hive.metastorePartitionPruning=true以便提高性能效率。