hive 判断若干数组是否存在交集

### 如何在 Hive 中判断多个数组间是否存在交集

为了实现这一目标，在Hive SQL中可以利用内置函数`array_intersect()`来检测两个或更多数组之间的交集情况。此方法适用于处理存储于表中的多列或多行数据，每列表示不同的数组集合。

对于简单的两数组间的交集查询，可以直接调用`array_intersect(array<T> a1, array<T> a2)` 函数返回一个新的数组，该新数组包含了输入参数a1和a2共有的元素[^1]。如果希望验证这些共有元素的存在性而非获取具体的重叠项，则可以在外部包裹一层条件语句检查结果是否为空：

SELECT CASE WHEN size(array_intersect(col_array_1, col_array_2)) > 0 THEN 'Intersect' ELSE 'No Intersect' END AS has_intersection
FROM your_table;

当涉及到三个及以上数量的数组时，可以通过嵌套的方式多次应用上述逻辑，或者采用更灵活的办法——借助LATERAL VIEW配合explode()将各个数组拆分成单独记录再进行关联匹配操作。下面给出一个多数组求交集的例子：

WITH exploded_arrays AS (
    SELECT id,
           posexplode(arrays_union) as (pos,val)
      FROM (SELECT id,
                   arrays_union(col_array_1,col_array_2,...col_array_n) as arrays_union
              FROM your_table) t
),
grouped_positions AS(
    SELECT val,
           collect_set(pos) positions
      FROM exploded_arrays
     GROUP BY val
)
SELECT COUNT(DISTINCT g.val)>0 as exists_common_element
  FROM grouped_positions g
 WHERE SIZE(g.positions)=n; -- n is the number of original arrays you want to intersect.

这段SQL脚本首先通过arrays_union组合所有待比较的数组成单一大型联合体并展开；接着统计每个唯一值出现的位置索引构成位置集合；最后筛选出那些恰好出现在每一个原始数组内的成员，并据此判定是否有共同元素存在。