卜面关于Hive SQL中INSERT INTO和INSERT OVERWRITE的区别说法不正确的是 A hadoop-hdfs依赖 B hadoop-client依赖 C.hadoop-common依赖 D.Junit依赖

时间: 2024-05-23 12:11:03 浏览: 139

高级软件人才培训专家-Hadoop课程资料-5-第五章 - 分布式SQL计算 Hive 语法与概念

### 高级软件人才培训专家-Hadoop课程资料-5-第五章 - 分布式SQL计算 Hive 语法与概念 #### 知识点概览本章节主要围绕分布式SQL计算工具——Hive进行深入讲解，包括Hive的基本概念、语法结构以及如何通过Hive对大数据进行高效管理与查询。具体知识点涵盖了数据库操作、数据表操作、数据查询方法、内置函数应用以及具体的案例分析。 #### 数据库操作 - **创建数据库**： - `CREATE DATABASE [IF NOT EXISTS] db_name [LOCATION 'path'];`：创建数据库时，可以指定其在HDFS中的存储位置。 - 示例：`CREATE DATABASE IF NOT EXISTS myhive LOCATION '/user/hive/myhive';` - **查看数据库**： - `SHOW DATABASES;`：显示所有数据库列表。 - `USE db_name;`：切换到指定的数据库。 - `DESCRIBE DATABASE EXTENDED db_name;`：显示数据库的详细信息，包括其在HDFS上的存储路径。 - **删除数据库**： - `DROP DATABASE [IF EXISTS] db_name;`：仅当数据库为空时才能执行此命令。 - `DROP DATABASE [IF EXISTS] db_name CASCADE;`：即使数据库下有表也可以强制删除。 #### 数据表操作 - **创建表**： - 基础语法：`CREATE TABLE [IF NOT EXISTS] tbl_name (col_name data_type [COMMENT col_comment], ...) [COMMENT tbl_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name [SORT BY (col_name [ASC|DESC], ...)], ...) [INTO num_buckets BUCKETS]] [ROW FORMAT DELIMITED [FIELDS TERMINATED BY 'field_delimiter'] [COLLECTION ITEMS TERMINATED BY 'mapkey_delimiter'] [MAP KEYS TERMINATED BY 'mapvalue_delimiter']] [STORED AS INPUTFORMAT 'inputformat_classname' OUTPUTFORMAT 'outputformat_classname'] [LOCATION 'hdfs_path'] [TBLPROPERTIES (tbl_property_name=tbl_property_value, ...)];` - 示例：`CREATE TABLE test (id INT, name STRING, gender STRING);` - **删除表**： - `DROP TABLE [IF EXISTS] tbl_name;`：删除指定的表。 - **修改表**： - `ALTER TABLE tbl_name ADD COLUMNS (col_name data_type [COMMENT col_comment], ...);`：向表中添加新的列。 - `ALTER TABLE tbl_name DROP COLUMN col_name;`：从表中删除指定的列。 - `ALTER TABLE tbl_name CHANGE COLUMN old_col_name new_col_name new_data_type [COMMENT new_col_comment];`：更改表中的列名或数据类型。 - **加载数据**： - `LOAD DATA LOCAL INPATH 'local_path' INTO TABLE tbl_name;`：将本地文件系统中的数据加载到Hive表中。 - `INSERT INTO TABLE tbl_name SELECT * FROM src_tbl_name;`：将其他表中的数据插入到当前表中。 - **导出数据**： - `INSERT OVERWRITE LOCAL DIRECTORY 'local_dir' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' SELECT * FROM tbl_name;`：将表中的数据导出到本地文件系统。 #### 数据查询 - **基本查询**： - `SELECT * FROM tbl_name;`：选择表中的所有列。 - `SELECT col_name FROM tbl_name WHERE condition;`：根据条件选择特定列。 - **聚合查询**： - `SELECT COUNT(col_name), AVG(col_name) FROM tbl_name;`：计算特定列的计数和平均值。 - `SELECT col_name, COUNT(*) FROM tbl_name GROUP BY col_name;`：按特定列分组并计算每组的数量。 - **连接查询**： - `SELECT * FROM tbl_name1 JOIN tbl_name2 ON (tbl_name1.col_name = tbl_name2.col_name);`：连接两个表。 #### 函数 - **内置函数**： - `YEAR(date_column)`: 返回日期列的年份。 - `COUNT(*)`: 计算行数。 - `SUM(column_name)`: 求和。 - `AVG(column_name)`: 平均值。 - **用户自定义函数（UDF）**： - 用户可以根据需要编写Java类来实现自己的函数，并将其注册到Hive中使用。 #### 案例学习通过具体的案例分析，加深对Hive操作的理解与应用。例如： - **案例一**：使用Hive统计网站访问日志中各个页面的访问次数。 - **案例二**：基于用户行为数据分析，通过Hive进行用户画像构建。 #### 总结 1. **创建库**：语法为`CREATE DATABASE [IF NOT EXISTS] db_name [LOCATION 'position'];`。 2. **删除库**：语法为`DROP DATABASE db_name [CASCADE];`。 3. **数据库和HDFS的关系**： - Hive的库在HDFS上表现为以`.db`结尾的目录。 - 默认存储路径为`/user/hive/warehouse`。 - 可以通过`LOCATION`关键字在创建时指定存储目录。通过本章节的学习，学员不仅能够掌握Hive的基础操作，还能够理解Hive与HDFS之间的紧密联系，为日后的大数据处理与分析打下坚实的基础。

卜面的说法不正确的是 B hadoop-client依赖。在Hive SQL中，INSERT INTO和INSERT OVERWRITE的主要区别在于它们对于目标表中已有的数据的处理方式。INSERT INTO会在目标表中追加新的数据，而INSERT OVERWRITE会先清空目标表，然后再将新的数据写入表中。而这与Hadoop的客户端依赖无关。Hadoop的客户端依赖主要包含了Hadoop的Java API和一些Hadoop工具包，这些包通常用于开发Hadoop应用程序和访问Hadoop集群。而Hive SQL是在Hadoop之上构建的一种数据仓库查询语言，虽然它需要依赖Hadoop的相关组件，但与Hadoop的客户端依赖没有直接关联。

阅读全文

卜面关于Hive SQL中INSERT INTO和INSERT OVERWRITE的区别说法不正确的是 A hadoop-hdfs依赖 B hadoop-client依赖 C.hadoop-common依赖 D.Junit依赖

相关推荐

大数据课程-Hadoop集群程序设计与开发-7.Hive数据仓库_lk_edit.pptx

2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）

sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz

hiveSql.docx

Hadoop数据仓库工具--hive介绍

hadoop+hive环境安装包.rar

Hadoop数据仓库工具Hive详解：基于HDFS的SQL式查询

Hadoop平台Hive SQL开发规范详解

spark如何读取a账户oss 写入b公司emr集群的hive(oss-hdfs)

spark读取a账户的oss 写入b账户的emr集群的hive(oss-hdfs)

hive insert

Hadoop数据仓库工具hive介绍.pdf

apache-hive-3.1.2-bin.tar.gz

Hive：基于Hadoop的数据仓库与SQL查询

hive中truncate可以清空文件，overwrite不能覆盖原文件

yolov5s nnie.zip

最新推荐

Hive基本操作命令大全

JHU荣誉单变量微积分课程教案介绍

管理建模和仿真的文件

【实战篇：自定义损失函数】：构建独特损失函数解决特定问题，优化模型性能

如何在ZYNQMP平台上配置TUSB1210 USB接口芯片以实现Host模式，并确保与Linux内核的兼容性？

Naruto爱好者必备CLI测试应用

"互动学习：行动中的多样性与论文攻读经历"

【强化学习损失函数探索】：奖励函数与损失函数的深入联系及优化策略

如何在Springboot后端项目中实现前端的多人视频会议功能，并使用Vue.js与ElementUI进行界面开发？

Android应用显示Ignaz-Taschner-Gymnasium取消课程概览