Sql 表a left join 表b 为什么行序会变？

时间: 2023-12-12 22:08:56 浏览: 63

hive sql + left join 数据缺失

### Hive SQL Left Join 数据缺失问题解析 #### 一、问题背景在大数据处理场景中，Hive 是一种广泛使用的工具，用于对存储在 Hadoop 文件系统中的数据进行数据汇总、查询和分析。随着Hive版本的不断更新，部分用户在升级至Hive 3之后遇到了数据处理中的一个常见问题——在执行Left Join操作时出现数据缺失。 #### 二、问题复现问题发生在如下的SQL语句中： ```sql SELECT a.* FROM ( SELECT n.* FROM dw.dwm_exhibition_base n INNER JOIN ( SELECT database_name, MAX(dt) AS dt FROM dw.dwm_exhibition_base WHERE database_name = 'fair' GROUP BY database_name ) m ON n.database_name = m.database_name AND n.dt = m.dt WHERE n.exh_name = '亚太洁净技术与设备展览会' ) a LEFT JOIN ( SELECT database_name, exh_id, exh_name, actor_exh_time, CONCAT(exh_id, '_', database_name, '_', exh_name, '_', actor_exh_time) AS exh_id_new, COUNT(*) AS actor_cnt FROM ( SELECT database_name, exh_id, exh_name, SUBSTR(actor_exh_time, 0, 10) AS actor_exh_time, actor_id, actor_name FROM dw.dwd_actor_exhibition WHERE exh_id IS NOT NULL AND exh_name IS NOT NULL AND actor_exh_time IS NOT NULL --AND exh_name = '亚太洁净技术与设备展览会' GROUP BY database_name, exh_id, exh_name, SUBSTR(actor_exh_time, 0, 10), actor_id, actor_name ) t GROUP BY database_name, exh_id, exh_name, actor_exh_time, CONCAT(exh_id, '_', database_name, '_', exh_name, '_', actor_exh_time) ) t2 ON a.exh_id = t2.exh_id_new WHERE t2.actor_cnt > 0 ``` #### 三、问题分析问题的核心在于Hive 2 和 Hive 3 版本之间对于JOIN操作的实现方式存在差异。具体来说，这是由于不同版本的Hive在JOIN操作时采用了不同的Hash算法导致的。具体细节如下： 1. **Hive 2 vs Hive 3 的Hash算法差异**： - Hive 2 版本在JOIN操作时采用了一种特定的Hash算法来确保相同的数据能够正确地关联在一起。 - 升级到 Hive 3 后，新的版本改变了Hash算法，这导致在相同的JOIN操作中，原本应该被正确关联的数据因为Hash值的不同而未能成功匹配。 2. **Bucketing Version的影响**： - Bucketing Version 是Hive表的一个属性，用于控制如何对数据进行分区和分桶。 - Hive 3 默认的bucketing_version为2，而旧版Hive的bucketing_version为1。 - 这个属性的变化直接影响了数据的分桶方式，从而影响了JOIN操作的Hash算法选择。 3. **TEZ引擎的问题**： - 使用TEZ引擎执行Join操作时，可能会遇到数据丢失的情况。这是因为TEZ引擎在转换多个MapJoin为单个操作时，可能会限制输入数据的最大大小，从而导致数据的丢失。 #### 四、解决方案针对上述问题，可以通过以下几种方式进行解决： 1. **调整bucketing_version**： - 通过查询当前表的bucketing_version属性，并将其调整为与旧版本一致的设置（例如设置为1）。 - 查询示例SQL如下： ```sql SELECT c.NAME AS DB_NAME, a.TBL_NAME, b.PARAM_KEY, b.PARAM_VALUE FROM TBLS a LEFT JOIN TABLE_PARAMS b ON a.TBL_ID = b.TBL_ID AND b.PARAM_KEY = 'bucketing_version' LEFT JOIN DBS c ON a.DB_ID = c.DB_ID WHERE b.TBL_ID IS NULL AND c.NAME = 'dw'; ``` 2. **优化TEZ参数配置**： - 调整TEZ引擎的相关参数，比如增大允许的输入数据大小等，以避免数据丢失的问题。 - 可以通过设置tez.mapjoin.thresholdsize-mb等参数来实现。 3. **使用兼容模式**： - 如果可能的话，可以尝试在Hive 3中启用兼容模式，使得其行为更加接近Hive 2的行为，从而减少因版本升级带来的兼容性问题。通过上述方法，可以有效解决Hive 3版本中Left Join操作出现的数据缺失问题，确保数据分析的准确性。

在 SQL 中，结果集的行序通常是不可预测的。即使两个查询结果相同，它们在返回结果时也可能具有不同的行序。这是因为 SQL 引擎在执行查询时会使用不同的算法和优化器，这些算法和优化器可能会在不同的时间和方式下处理数据，从而导致结果集的行序不同。因此，我们不能依赖于结果集的行序，而应该使用 ORDER BY 子句来明确指定需要排序的列和排序方式。

阅读全文

Sql 表a left join 表b 为什么行序会变？

相关推荐

SQL语句优化之JOIN和LEFT JOIN 和 RIGHT JOIN语句的优化

MySQL在右表数据不唯一的情况下使用left join的方法

SQL left join

SQL中的left join right join

SQL LEFT JOIN 关键字

SQL表连接查询(inner join、full join、left join、right join)1

sql left join 命令详解

关于sql的left join,right join,inner join,outerjoin

SQL语句left join/right join/inner join 的用法比较

SQL之left join、right join、inner join的区别浅析

Hive查询sql left join exists

sql的left join和count应用

Sql语句用left join解决多表关联问题（关联套关联，例子和源码）

SQL学习八-LEFT JOIN && RIGHT JOIN

9.1.9 解释 SQL 的 left join 和 right join.md

SQL 外链接操作小结 inner join left join right join

SQL中的left outer join,inner join,right outer join用法详解

SQL JOIN操作详解：LEFT JOIN、RIGHT JOIN与INNER JOIN

16-17 数据挖掘算法基础 - 分类与回归1(1).ipynb

最新推荐

sql中left join的效率分析与提高效率方法

SQL中的left outer join,inner join,right outer join用法详解

Mysql跨表更新 多表update sql语句总结

深入理解mysql之left join 使用详解

SQL Server 向临时表插入数据示例

C语言数组操作：高度检查器编程实践

管理建模和仿真的文件

【KUKA系统变量进阶】：揭秘从理论到实践的5大关键技巧

如何使用Python编程语言创建一个具有动态爱心图案作为背景并添加文字'天天开心（高级版）'的图形界面？

基于Swift开发的嘉定单车LBS iOS应用项目解析

Mysql跨表更新多表update sql语句总结