Hive数据定义与DDL操作指南

"该资源是关于Hive基础的PPT，主要讲解了数据定义相关的操作，包括数据库定义、创建、查看、描述和删除。同时，提到了Hive的编译过程以及与数据加载、存储格式相关的内容。" 在Hive中，数据定义是构建和管理数据仓库的关键部分。以下是对描述中涉及知识点的详细说明： 1. **数据库定义**： - **默认数据库"default"**：Hive启动时，默认使用的数据库是"default"，如果不显式切换到其他数据库，Hive的操作将在"default"数据库下进行。 - **创建数据库**：使用`CREATE DATABASE`语句创建新数据库，可以加上`IF NOT EXISTS`防止重复创建。例如：`hive> CREATE DATABASE IF NOT EXISTS mydb;` - **显示数据库**：使用`SHOW DATABASES`查看所有数据库。 - **描述数据库**：使用`DESCRIBE DATABASE [EXTENDED] mydb`获取数据库的详细信息。 - **删除数据库**：使用`DROP DATABASE [IF EXISTS] mydb [CASCADE]`删除数据库，`CASCADE`选项可选择是否删除依赖于该数据库的所有对象。 2. **Hive的编译过程**： - **Driver和Compiler**：Hive的执行流程始于用户输入的HiveQL语句，Driver负责调用编译器处理这些语句。编译器会将HiveQL转化为执行计划，该计划由元数据操作和HDFS操作组成。 3. **数据加载与操作**： - **数据格式**：Hive支持多种数据格式，如TextFile、SequenceFile和RCFile，用户可以自定义列分隔符、行分隔符和数据读取方式。 - **数据加载**：`LOAD DATA`语句用于将数据加载到表中，例如，可以使用`LOAD DATA LOCAL INPATH`命令从本地文件系统加载数据。 - **数据写入**：`INSERT OVERWRITE TABLE`语句用于覆盖写入表数据，支持分区操作。例如，`INSERT OVERWRITE TABLE t2 PARTITION (class='job2', city='bj') SELECT name, age FROM t1 WHERE class='job1' AND city='bj';` 4. **Hive的DAG和MapReduce**： - **DAG**：对于插入和查询操作，Hive生成的执行计划是一个有向无环图（DAG），这对应着MapReduce任务的阶段。 5. **其他操作和设置**： - `set hive.exec.mode.local.auto=true;`：这个设置允许Hive自动选择本地模式执行任务。 - `show functions;`：列出所有可用的Hive函数。 - `describe function substr;`：查看特定函数的使用详情。 6. **数据格式限制**：在删除表时，可能会遇到键长度超过1000字节的错误，这是由于Hive对键长度的限制。 7. **字符集问题**：在处理字符编码时，可能需要调整数据库的字符类型，如将MySQL的数据库字符类型改为latin1。 这份PPT涵盖了Hive的基础操作，包括数据库管理和数据加载，以及Hive内部的工作原理，对理解和操作Hive环境非常有帮助。