hive notin

时间: 2023-10-18 12:30:04 浏览: 99

Hive SQL练习题库

### Hive SQL练习题库知识点详解 #### 一、Hive SQL概述 Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，使不熟悉 MapReduce 的用户可以利用 SQL 语言进行数据查询，大大提升了数据分析的效率。 #### 二、环境搭建与表的创建在开始练习之前，我们需要构建一个基本的数据处理环境，并定义好数据表。这部分主要包括以下内容： - **创建表**：通过 SQL 语句创建不同类型的表来存储数据。 - **加载数据**：将外部文件中的数据加载到 Hive 表中。 ##### 1. 创建表根据题目描述，我们需要创建四个表：`student_info`（学生表）、`course_info`（课程表）、`teacher_info`（教师表）以及 `score_info`（成绩表）。 - **学生表** (`student_info`) - `stu_id` (学生 ID) - `stu_name` (学生姓名) - `birthday` (出生日期) - `sex` (性别) ```sql DROP TABLE IF EXISTS student_info; CREATE TABLE IF NOT EXISTS student_info ( stu_id STRING COMMENT '学生 id', stu_name STRING COMMENT '学生姓名', birthday STRING COMMENT '出生日期', sex STRING COMMENT '性别' ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` - **课程表** (`course_info`) - `course_id` (课程 ID) - `course_name` (课程名称) - `tea_id` (教师 ID) ```sql DROP TABLE IF EXISTS course_info; CREATE TABLE IF NOT EXISTS course_info ( course_id STRING COMMENT '课程 id', course_name STRING COMMENT '课程名', tea_id STRING COMMENT '任课老师 id' ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` - **教师表** (`teacher_info`) - `tea_id` (教师 ID) - `tea_name` (教师姓名) ```sql DROP TABLE IF EXISTS teacher_info; CREATE TABLE IF NOT EXISTS teacher_info ( tea_id STRING COMMENT '老师 id', tea_name STRING COMMENT '学生姓名' ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` - **成绩表** (`score_info`) - `stu_id` (学生 ID) - `course_id` (课程 ID) - `score` (成绩) ```sql DROP TABLE IF EXISTS score_info; CREATE TABLE IF NOT EXISTS score_info ( stu_id STRING COMMENT '学生 id', course_id STRING COMMENT '课程 id', score INT COMMENT '成绩' ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` ##### 2. 数据准备接下来，需要准备好数据文件，并将其放置到指定目录下。 - **创建目录** ```bash mkdir /opt/module/data ``` - **准备数据文件** 将预先准备好的 `.txt` 文件放置到 `/opt/module/data` 目录下。 - **数据样例** 例如，在 `student_info.txt` 中，包含以下数据： ``` 001,彭于晏,1995-05-16,男 002,胡歌,1994-03-20,男 ... ``` 这些数据文件中包含了所有表所需的基本信息，用于后续的数据加载操作。 #### 三、数据加载完成表的创建后，接下来需要将数据文件中的数据加载到对应的表中。这部分主要涉及如何使用 Hive 的 `LOAD DATA INPATH` 命令。 - **加载学生数据** ```sql LOAD DATA INPATH '/opt/module/data/student_info.txt' INTO TABLE student_info; ``` - **加载课程数据** ```sql LOAD DATA INPATH '/opt/module/data/course_info.txt' INTO TABLE course_info; ``` - **加载教师数据** ```sql LOAD DATA INPATH '/opt/module/data/teacher_info.txt' INTO TABLE teacher_info; ``` - **加载成绩数据** ```sql LOAD DATA INPATH '/opt/module/data/score_info.txt' INTO TABLE score_info; ``` #### 四、SQL查询练习有了上述的基础，我们可以开始进行一些基础的 SQL 查询练习，如查询某个学生的全部信息、查询某门课程的成绩分布等。这部分主要涉及 SQL 查询的基础语法，包括 SELECT、FROM、WHERE 等子句的使用。 - **查询所有学生的姓名和生日** ```sql SELECT stu_name, birthday FROM student_info; ``` - **查询某门课程的所有成绩** ```sql SELECT score FROM score_info WHERE course_id = '01'; ``` - **联表查询** 结合使用多个表进行更复杂的查询，例如查询每个学生的成绩及对应的课程名称和教师姓名。 ```sql SELECT s.stu_name, c.course_name, t.tea_name, sc.score FROM student_info s JOIN score_info sc ON s.stu_id = sc.stu_id JOIN course_info c ON c.course_id = sc.course_id JOIN teacher_info t ON t.tea_id = c.tea_id; ``` 通过以上的练习，初学者可以逐步掌握 Hive SQL 的基本操作，并为进一步的学习打下坚实的基础。

在Hive中，not in语法是支持的，但是不支持在where子句中直接使用子查询。如果要实现带有子查询的not in功能，可以借助左关联。例如，可以使用左外连接将两个表连接起来，然后通过判断右表中的值是否为空来实现not in的效果。例如，可以使用以下语句实现not in的效果： SELECT skim.userId, skim.itemId FROM skim LEFT OUTER JOIN buy ON skim.userId=buy.userId AND skim.itemId=buy.itemId WHERE buy.userId IS NULL;123 #### 引用[.reference_title] - *1* [Hive on Spark EXPLAIN statement](https://download.csdn.net/download/weixin_46206568/12274843)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [Hive中not in的正确使用](https://blog.csdn.net/weixin_42011858/article/details/125778167)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [hive中使用not in的方法](https://blog.csdn.net/chenyuexing0822/article/details/78525383)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

阅读全文

hive notin

相关推荐

13-Hive基本操作1

Hive 基本命令操作1

hive not in

hive的 not in

hive的not in改写

Hive sql not in怎么优化

hive left semi join not in

hive中Expression not in GROUP BY key

hive的where中not in子查询

drake-hive:Drake 的 Hive 插件

经典SQL查询总结关于Exists,not Exists.in ,not in效率的说明。

初识 Hive：什么是 Hive 数据仓库

sql in hive

hive Cound not initialize class org.apache.hadoop.hive.common.type.HiveDate

set_ugi not hivemetastore

hive 报错 error wjile compiling statement failed OR not supported in joib currently 0

hive locate

HIVE repeat

用hive改写以下sql语句 :SELECT A.SNO AS 学号 , A.SNAME AS 姓名 FROM STUDENT A WHERE A.SNO NOT IN (SELECT C.SNO FROM COURSE B , SC C, TEACHER DANGLING WHERE B.CNO = C.CNO AND B.TNO = D.TNO AND D.TNAME = '悟空');

最新推荐

Hive操作笔记（呕心沥血制作）

(源码)基于QT框架的云存储系统.zip

黑板风格计算机毕业答辩PPT模板下载

管理建模和仿真的文件

提升点阵式液晶显示屏效率技术

在SoC芯片的射频测试中，ATE设备通常如何执行系统级测试以保证芯片量产的质量和性能一致？

CodeSandbox实现ListView快速创建指南

"互动学习：行动中的多样性与论文攻读经历"

点阵式显示屏常见故障诊断方法

名词性从句包括哪些类别？它们各自有哪些引导词？请结合例句详细解释。