hive 在数据库中创建内部表

Hive 是一个基于 Hadoop 的数据仓库工具，它本身并不支持直接创建标准意义上的“内部表”（如 MySQL 或 SQL Server 中的内存表），但你可以使用 Hive 提供的分区表（Partitioned Table）来模拟类似的效果，特别是在 MapReduce 的背景下。分区表允许你将大表按照某些字段进行分割，提高查询性能。

创建一个分区表（类似于内部表）的 Hive 语句大致如下：

CREATE TABLE internal_table (
   col1 string,
   col2 int,
   ... -- 表达式的其他列
) PARTITIONED BY (
   date STRING,
   region STRING
); -- 定义按日期和区域分区

-- 插入数据时可以选择特定的分区
INSERT INTO TABLE internal_table PARTITION (date='2022', region='US')
SELECT * FROM source_data WHERE date = '2022' AND region = 'US';

-- 查询时可以指定分区快速定位数据
SELECT * FROM internal_table WHERE date = '2022' AND region = 'US';

这种分区表可以在需要时提供更快的数据访问速度，尤其是在处理大量数据时。但是，由于 Hive 的设计重点在于离线批处理，所以内部表的概念并不像传统数据库那样强大。

相关问题

① 创建数据库hive； ② 在hive数据库中，创建表usr，含三个属性id，name，age ③ 在hive数据库中，创建表usr，含三个属性id，name，age，存储路径为“/usr/local/hive/warehouse/hive/usr” ④ 在hive数据库中，创建外部表usr，含三个属性id，name，age，可以读取路径“/usr/local/data”下以“，”分隔的数据。 ⑤ 在hive数据库中，创建分区表usr，含三个属性id，name，age，还存在分区字段sex。 ⑥ 创建视图little_usr，只包含usr表中id，age属性 ⑦ 删除数据库hive ⑧ 删除表usr，如果是内部表，元数据和实际数据都会被删除；如果是外部表，只删除元数据，不删除实际数据 ⑨ 删除视图little_usr ⑩ 为hive数据库设置dbproperties键值对属性值来描述数据库属性信息 ⑪ 重命名表usr为user ⑫ 为表usr增加新分区 ⑬ 把表usr中列名name修改为username，并把该列置于age列后 ⑭ 修改little_usr视图元数据中的tblproperties属性信息 ⑮ 查看Hive中包含的所有数据库 ⑯ 查看Hive中以h开头的所有数据库 ⑰ 查看数据库hive中所有表和视图 ⑱ 查看数据库hive中以u开头的所有表和视图 ⑲ 查看数据库hive的基本信息，包括数据库中文件位置信息等 ⑳ 查看数据库hive的详细信息，包括数据库的基本信息及属性信息等 21 把目录’/usr/local/data‘下的数据文件中的数据装载进usr表并覆盖原有数据

好的，以下是对应的Hive命令：

1. 创建数据库hive

CREATE DATABASE hive;

2. 在hive数据库中，创建表usr，含三个属性id，name，age

USE hive;
CREATE TABLE usr (
  id INT,
  name STRING,
  age INT
);

3. 在hive数据库中，创建表usr，含三个属性id，name，age，存储路径为“/usr/local/hive/warehouse/hive/usr”

CREATE TABLE usr (
  id INT,
  name STRING,
  age INT
) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION '/usr/local/hive/warehouse/hive/usr';

4. 在hive数据库中，创建外部表usr，含三个属性id，name，age，可以读取路径“/usr/local/data”下以“，”分隔的数据。

CREATE EXTERNAL TABLE usr (
  id INT,
  name STRING,
  age INT
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION '/usr/local/data';

5. 在hive数据库中，创建分区表usr，含三个属性id，name，age，还存在分区字段sex。

CREATE TABLE usr (
  id INT,
  name STRING,
  age INT
)
PARTITIONED BY (sex STRING);

6. 创建视图little_usr，只包含usr表中id，age属性

CREATE VIEW little_usr AS 
SELECT id, age FROM usr;

7. 删除数据库hive

DROP DATABASE hive;

8. 删除表usr，如果是内部表，元数据和实际数据都会被删除；如果是外部表，只删除元数据，不删除实际数据

DROP TABLE usr;

9. 删除视图little_usr

DROP VIEW little_usr;

10. 为hive数据库设置dbproperties键值对属性值来描述数据库属性信息

ALTER DATABASE hive SET DBPROPERTIES ('description' = 'This is a sample database for Hive');

11. 重命名表usr为user

ALTER TABLE usr RENAME TO user;

12. 为表usr增加新分区

ALTER TABLE usr ADD PARTITION (sex='male') LOCATION '/path/to/male/data';

13. 把表usr中列名name修改为username，并把该列置于age列后

ALTER TABLE usr CHANGE name username STRING AFTER age;

14. 修改little_usr视图元数据中的tblproperties属性信息

ALTER VIEW little_usr SET TBLPROPERTIES ('comment' = 'This is a view for user table');

15. 查看Hive中包含的所有数据库

SHOW DATABASES;

16. 查看Hive中以h开头的所有数据库

SHOW DATABASES LIKE 'h%';

17. 查看数据库hive中所有表和视图

SHOW TABLES;

18. 查看数据库hive中以u开头的所有表和视图

SHOW TABLES LIKE 'u%';

19. 查看数据库hive的基本信息，包括数据库中文件位置信息等

DESCRIBE DATABASE hive;

20. 查看数据库hive的详细信息，包括数据库的基本信息及属性信息等

DESCRIBE DATABASE EXTENDED hive;

21. 把目录’/usr/local/data‘下的数据文件中的数据装载进usr表并覆盖原有数据

LOAD DATA LOCAL INPATH '/usr/local/data' OVERWRITE INTO TABLE usr;

以上是对应的Hive命令，可以根据实际需求进行相应的操作。

hive的内部表和外部表

可以使用Spark SQL来创建Hive表，具体步骤如下：

1. 首先需要在Spark应用程序中创建一个SparkSession对象，代码如下：

val spark = SparkSession.builder()
  .appName("Create Hive Table")
  .enableHiveSupport()
  .getOrCreate()

2. 然后根据传入的参数和文件创建对应的DataFrame对象，代码如下：

val df = spark.read.format("csv")
  .option("header", "true")
  .option("inferSchema", "true")
  .load("path/to/file.csv")

3. 接下来可以使用DataFrame的write方法将数据写入Hive表中，代码如下：

df.write.mode(SaveMode.Overwrite).saveAsTable("database.table")

其中，database是Hive中的数据库名称，table是要创建的表名称。

4. 最后需要关闭SparkSession对象，代码如下：

spark.stop()