left anti join的作用

时间: 2023-07-11 09:56:25 浏览: 86

hive sql + left join 数据缺失

### Hive SQL Left Join 数据缺失问题解析 #### 一、问题背景在大数据处理场景中，Hive 是一种广泛使用的工具，用于对存储在 Hadoop 文件系统中的数据进行数据汇总、查询和分析。随着Hive版本的不断更新，部分用户在升级至Hive 3之后遇到了数据处理中的一个常见问题——在执行Left Join操作时出现数据缺失。 #### 二、问题复现问题发生在如下的SQL语句中： ```sql SELECT a.* FROM ( SELECT n.* FROM dw.dwm_exhibition_base n INNER JOIN ( SELECT database_name, MAX(dt) AS dt FROM dw.dwm_exhibition_base WHERE database_name = 'fair' GROUP BY database_name ) m ON n.database_name = m.database_name AND n.dt = m.dt WHERE n.exh_name = '亚太洁净技术与设备展览会' ) a LEFT JOIN ( SELECT database_name, exh_id, exh_name, actor_exh_time, CONCAT(exh_id, '_', database_name, '_', exh_name, '_', actor_exh_time) AS exh_id_new, COUNT(*) AS actor_cnt FROM ( SELECT database_name, exh_id, exh_name, SUBSTR(actor_exh_time, 0, 10) AS actor_exh_time, actor_id, actor_name FROM dw.dwd_actor_exhibition WHERE exh_id IS NOT NULL AND exh_name IS NOT NULL AND actor_exh_time IS NOT NULL --AND exh_name = '亚太洁净技术与设备展览会' GROUP BY database_name, exh_id, exh_name, SUBSTR(actor_exh_time, 0, 10), actor_id, actor_name ) t GROUP BY database_name, exh_id, exh_name, actor_exh_time, CONCAT(exh_id, '_', database_name, '_', exh_name, '_', actor_exh_time) ) t2 ON a.exh_id = t2.exh_id_new WHERE t2.actor_cnt > 0 ``` #### 三、问题分析问题的核心在于Hive 2 和 Hive 3 版本之间对于JOIN操作的实现方式存在差异。具体来说，这是由于不同版本的Hive在JOIN操作时采用了不同的Hash算法导致的。具体细节如下： 1. **Hive 2 vs Hive 3 的Hash算法差异**： - Hive 2 版本在JOIN操作时采用了一种特定的Hash算法来确保相同的数据能够正确地关联在一起。 - 升级到 Hive 3 后，新的版本改变了Hash算法，这导致在相同的JOIN操作中，原本应该被正确关联的数据因为Hash值的不同而未能成功匹配。 2. **Bucketing Version的影响**： - Bucketing Version 是Hive表的一个属性，用于控制如何对数据进行分区和分桶。 - Hive 3 默认的bucketing_version为2，而旧版Hive的bucketing_version为1。 - 这个属性的变化直接影响了数据的分桶方式，从而影响了JOIN操作的Hash算法选择。 3. **TEZ引擎的问题**： - 使用TEZ引擎执行Join操作时，可能会遇到数据丢失的情况。这是因为TEZ引擎在转换多个MapJoin为单个操作时，可能会限制输入数据的最大大小，从而导致数据的丢失。 #### 四、解决方案针对上述问题，可以通过以下几种方式进行解决： 1. **调整bucketing_version**： - 通过查询当前表的bucketing_version属性，并将其调整为与旧版本一致的设置（例如设置为1）。 - 查询示例SQL如下： ```sql SELECT c.NAME AS DB_NAME, a.TBL_NAME, b.PARAM_KEY, b.PARAM_VALUE FROM TBLS a LEFT JOIN TABLE_PARAMS b ON a.TBL_ID = b.TBL_ID AND b.PARAM_KEY = 'bucketing_version' LEFT JOIN DBS c ON a.DB_ID = c.DB_ID WHERE b.TBL_ID IS NULL AND c.NAME = 'dw'; ``` 2. **优化TEZ参数配置**： - 调整TEZ引擎的相关参数，比如增大允许的输入数据大小等，以避免数据丢失的问题。 - 可以通过设置tez.mapjoin.thresholdsize-mb等参数来实现。 3. **使用兼容模式**： - 如果可能的话，可以尝试在Hive 3中启用兼容模式，使得其行为更加接近Hive 2的行为，从而减少因版本升级带来的兼容性问题。通过上述方法，可以有效解决Hive 3版本中Left Join操作出现的数据缺失问题，确保数据分析的准确性。

Left Anti Join 是一种关系型数据库查询操作，它的作用是从左表中选择那些没有对应匹配项的记录，以过滤掉与右表相匹配的记录。简单来说，Left Anti Join 返回左表中不符合条件的记录，也可以理解为“左表中排除掉与右表匹配的记录”。这种操作通常用于数据清洗和数据筛选，例如从客户表中找出没有下过单的客户等。

阅读全文

left anti join的作用

相关推荐

sql left join 命令详解

SQL中的left join right join

left anti join

clickhouse LEFT ANTI JOIN介绍和示例

left anti join 和 inner join 的区别

先用left outer join再用left anti join 会出现问题吗

left join求左边独有的数据

presto join

new_insert_df = df.join(landing_merge_df, primary_keys_list, "left_anti")

spark join 有哪些方式

new_insert_df = df.join(landing_merge_df, primary_keys_list, "left_anti")转化为sql语句

Flink有哪些join

spark sql 测试jointype中所有join的类型，便于理解

hive支持通常的SQL JOIN语句，但是只支持什么连接

pyspark的join函数如何不连接右表on条件的字段

spark中 join 的几种类型，在物理执行层面有哪几种

pyspark的join函数当右表有多行匹配到了坐表时如何只选择一行匹配

最新推荐

精细金属掩模板(FMM)行业研究报告 显示技术核心部件FMM材料产业分析与市场应用

【创新未发表】斑马算法ZOA-Kmean-Transformer-LSTM负荷预测Matlab源码 9515期.zip

j link 修复问题套件

C#实现modbusRTU(实现了01 3 05 06 16等5个功能码)

【创新未发表】基于matlab粒子群算法PSO-PID控制器优化【含Matlab源码 9659期】.zip

Angular实现MarcHayek简历展示应用教程

管理建模和仿真的文件

深入剖析：内存溢出背后的原因、预防及应急策略（专家版）

Java中如何对年月日时分秒的日期字符串作如下处理：如何日期分钟介于两个相连的半点之间，就将分钟数调整为前半点

Crossbow Spot最新更新 - 获取Chrome扩展新闻

精细金属掩模板(FMM)行业研究报告显示技术核心部件FMM材料产业分析与市场应用