hive mapjoin

时间: 2023-02-15 10:57:20 浏览: 94

hive sql + left join 数据缺失

### Hive SQL Left Join 数据缺失问题解析 #### 一、问题背景在大数据处理场景中，Hive 是一种广泛使用的工具，用于对存储在 Hadoop 文件系统中的数据进行数据汇总、查询和分析。随着Hive版本的不断更新，部分用户在升级至Hive 3之后遇到了数据处理中的一个常见问题——在执行Left Join操作时出现数据缺失。 #### 二、问题复现问题发生在如下的SQL语句中： ```sql SELECT a.* FROM ( SELECT n.* FROM dw.dwm_exhibition_base n INNER JOIN ( SELECT database_name, MAX(dt) AS dt FROM dw.dwm_exhibition_base WHERE database_name = 'fair' GROUP BY database_name ) m ON n.database_name = m.database_name AND n.dt = m.dt WHERE n.exh_name = '亚太洁净技术与设备展览会' ) a LEFT JOIN ( SELECT database_name, exh_id, exh_name, actor_exh_time, CONCAT(exh_id, '_', database_name, '_', exh_name, '_', actor_exh_time) AS exh_id_new, COUNT(*) AS actor_cnt FROM ( SELECT database_name, exh_id, exh_name, SUBSTR(actor_exh_time, 0, 10) AS actor_exh_time, actor_id, actor_name FROM dw.dwd_actor_exhibition WHERE exh_id IS NOT NULL AND exh_name IS NOT NULL AND actor_exh_time IS NOT NULL --AND exh_name = '亚太洁净技术与设备展览会' GROUP BY database_name, exh_id, exh_name, SUBSTR(actor_exh_time, 0, 10), actor_id, actor_name ) t GROUP BY database_name, exh_id, exh_name, actor_exh_time, CONCAT(exh_id, '_', database_name, '_', exh_name, '_', actor_exh_time) ) t2 ON a.exh_id = t2.exh_id_new WHERE t2.actor_cnt > 0 ``` #### 三、问题分析问题的核心在于Hive 2 和 Hive 3 版本之间对于JOIN操作的实现方式存在差异。具体来说，这是由于不同版本的Hive在JOIN操作时采用了不同的Hash算法导致的。具体细节如下： 1. **Hive 2 vs Hive 3 的Hash算法差异**： - Hive 2 版本在JOIN操作时采用了一种特定的Hash算法来确保相同的数据能够正确地关联在一起。 - 升级到 Hive 3 后，新的版本改变了Hash算法，这导致在相同的JOIN操作中，原本应该被正确关联的数据因为Hash值的不同而未能成功匹配。 2. **Bucketing Version的影响**： - Bucketing Version 是Hive表的一个属性，用于控制如何对数据进行分区和分桶。 - Hive 3 默认的bucketing_version为2，而旧版Hive的bucketing_version为1。 - 这个属性的变化直接影响了数据的分桶方式，从而影响了JOIN操作的Hash算法选择。 3. **TEZ引擎的问题**： - 使用TEZ引擎执行Join操作时，可能会遇到数据丢失的情况。这是因为TEZ引擎在转换多个MapJoin为单个操作时，可能会限制输入数据的最大大小，从而导致数据的丢失。 #### 四、解决方案针对上述问题，可以通过以下几种方式进行解决： 1. **调整bucketing_version**： - 通过查询当前表的bucketing_version属性，并将其调整为与旧版本一致的设置（例如设置为1）。 - 查询示例SQL如下： ```sql SELECT c.NAME AS DB_NAME, a.TBL_NAME, b.PARAM_KEY, b.PARAM_VALUE FROM TBLS a LEFT JOIN TABLE_PARAMS b ON a.TBL_ID = b.TBL_ID AND b.PARAM_KEY = 'bucketing_version' LEFT JOIN DBS c ON a.DB_ID = c.DB_ID WHERE b.TBL_ID IS NULL AND c.NAME = 'dw'; ``` 2. **优化TEZ参数配置**： - 调整TEZ引擎的相关参数，比如增大允许的输入数据大小等，以避免数据丢失的问题。 - 可以通过设置tez.mapjoin.thresholdsize-mb等参数来实现。 3. **使用兼容模式**： - 如果可能的话，可以尝试在Hive 3中启用兼容模式，使得其行为更加接近Hive 2的行为，从而减少因版本升级带来的兼容性问题。通过上述方法，可以有效解决Hive 3版本中Left Join操作出现的数据缺失问题，确保数据分析的准确性。

和 reduce side join的区别是什么？Hive的mapjoin和reduce side join之间的区别在于它们的实现方式。Mapjoin是一种在Map阶段完成的join，它只需要加载小表，然后在Map任务中进行join，因此它速度更快，但是需要保证小表数据量不会很大，否则会导致内存溢出。Reduce side join则是在Reduce阶段完成的join，它需要加载大表和小表，并在Reduce任务中进行join，因此它速度比较慢，但是不存在内存溢出的问题。

阅读全文

hive mapjoin

相关推荐

hive 中join和Group的优化

Hive Summit 2011-join

hive mapjoin 语法

hive 关闭mapjoin

Hive查询优化：数据倾斜与MapJoin策略

Hive中的笛卡尔积与MapJoin操作解析

HIVE优化实践：UDF应用与MAPJOIN优化解析

怎么判断两张大表有没有空key啊？SMBjoin和skew join都是hive中的join方式吗？inner join，left join这些和mapjoin，reducejoin的关系是什么啊？在hive中怎么启用mapjoin？都是要通过设置参数吗？

hive.skewjoin.mapjoin.map.tasks

**hive.mapjoin.smalltable.filesize**设置小表的大小

hive中join优化

hive left join 慢

hive的JoinOperator

hive的join底层

hive left join 优化

hive inner join和left join并行么

hiveMap端的数据倾斜

给你一个jingqsdfgnvsdljk

最新推荐

hive常见的优化方案ppt

Hive基本操作命令大全

给你一个jingqsdfgnvsdljk

正整数数组验证库：确保值符合正整数规则

管理建模和仿真的文件

【损失函数与随机梯度下降】：探索学习率对损失函数的影响，实现高效模型训练

在ADS软件中，如何选择并优化低噪声放大器的直流工作点以实现最佳性能？

系统移植工具集：镜像、工具链及其他必备软件包

"互动学习：行动中的多样性与论文攻读经历"

【损失函数与批量梯度下降】：分析批量大小对损失函数影响，优化模型学习路径

hive.mapjoin.smalltable.filesize设置小表的大小