执行LOAD命令后，Hive会在 HDFS 的/hive/shopping/items2/路径下创建目录p_category=shoes/p_brand=playboy/，并且会把items_info.txt文件复制到上述创建的目录下

时间: 2023-12-22 07:02:50 浏览: 63

Hive练习 1.在Hive中建立数据库hive，该库中建立外部表party，将hdfs的/party.csv导入该表，用命令

Hive练习。 1.在Hive中建立数据库hive，该库中建立外部表party，将hdfs的/party.csv导入该表，用命令查看前十条记录并截图。 year int type string program string performers string 2.完成以下题目。 1）统计历届春晚的节目数目。 2）统计每种类型节目的数量并降序排序。 3）统计相声类节目历年的数目。 4）统计“冯巩”历年春晚的节目数量。 5）统计节目中含有“乐”字的节目名称，类型。 6）查询每个演员上春晚的次数。 ### Hive练习知识点详解 #### 一、创建数据库与外部表并导入数据 1. **创建数据库**：在Hive中创建一个名为`hive`的新数据库。 ```sql CREATE DATABASE hive; ``` 2. **创建外部表**：在数据库`hive`中创建一个名为`party`的外部表，并指定其字段类型。 - `year`字段为整型（`int`）。 - `type`字段为字符串类型（`string`）。 - `program`字段为字符串类型（`string`）。 - `performers`字段为字符串类型（`string`）。 ```sql CREATE EXTERNAL TABLE hive.party ( year INT, type STRING, program STRING, performers STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/party.csv'; ``` 3. **导入数据**：使用HDFS中的`/party.csv`文件作为数据源，将数据导入到`party`表中。由于在创建表时已经指定了位置，因此无需执行额外的导入操作。 4. **查看数据**：使用SQL命令查看`party`表的前10条记录。 ```sql SELECT * FROM hive.party LIMIT 10; ``` #### 二、完成数据分析任务 1. **统计历届春晚的节目数目**： ```sql SELECT year, COUNT(*) AS program_count FROM hive.party GROUP BY year; ``` 这个查询通过分组函数`GROUP BY`按年份统计春晚的节目数量。 2. **统计每种类型节目的数量并降序排序**： ```sql SELECT type, COUNT(*) AS program_count FROM hive.party GROUP BY type ORDER BY program_count DESC; ``` 该查询统计了每种类型节目的数量，并按照节目数量降序排列。 3. **统计相声类节目历年的数目**： ```sql SELECT year, COUNT(*) AS program_count FROM hive.party WHERE type = '相声' GROUP BY year; ``` 这个查询特别关注相声类节目的统计数据，按年份分组并计算数量。 4. **统计“冯巩”历年春晚的节目数量**： ```sql SELECT year, COUNT(*) AS program_count FROM hive.party WHERE performers LIKE '%冯巩%' GROUP BY year ORDER BY year; ``` 此查询关注“冯巩”参演的节目，并按年份统计数量。 5. **统计节目中含有“乐”字的节目名称和类型**： ```sql SELECT program, type FROM hive.party WHERE program LIKE '%乐%'; ``` 该查询筛选出包含“乐”字的所有节目及其类型。 6. **查询每个演员上春晚的次数**： ```sql SELECT performer, COUNT(*) AS num FROM ( SELECT EXPLODE(SPLIT(performers, '、')) AS performer FROM hive.party ) AS performers GROUP BY performer ORDER BY num DESC; ``` 此查询首先使用`SPLIT`和`EXPLODE`函数将`performers`列中的演员列表拆分成单个演员，然后统计每个演员出现的次数，并按次数降序排列。 ### 总结通过以上步骤，我们不仅学习了如何在Hive中创建数据库和外部表，还掌握了如何通过SQL查询进行数据分析。这些练习涵盖了基本的数据表管理以及高级的数据分析技巧，对于理解Hive的基本操作和功能非常有帮助。此外，这些实践也展示了Hive在处理大规模数据集时的强大能力，尤其是在需要进行复杂聚合和筛选操作的情况下。

不完全正确。执行LOAD命令后，Hive会把items_info.txt文件的数据加载到一个名为shopping.items2的表中。如果我们在执行LOAD命令之前已经创建了shopping.items2表，并且该表的存储格式为PARQUET，分区列为p_category和p_brand，那么Hive会在HDFS的/hive/shopping/items2/路径下创建一个名为p_category=shoes/p_brand=playboy的目录，并且将items_info.txt文件的数据以PARQUET格式存储到该目录下。但是如果我们没有提前创建shopping.items2表，那么Hive会自动创建该表，存储格式为TEXTFILE，分区列为p_category和p_brand，数据会存储在/hive/warehouse/shopping.db/items2/路径下，而不会创建分区目录。

阅读全文

执行LOAD命令后，Hive会在 HDFS 的/hive/shopping/items2/路径下创建目录p_category=shoes/p_brand=playboy/，并且会把items_info.txt文件复制到上述创建的目录下

相关推荐

大数据Hive on MR/TEZ与hadoop的整合应用

Hive Beeline连接报错：Could not open client transport with JDBC Uri: jdbc:hive2://hcmaster:10000/default

分布式数据库Hive笔记_HDFS_Hadoop_分布式数据库

HDFS+MapReduce+Hive+HBase十分钟快速入门.zip_hbase_hdfs_hive_mapReduce

hadoop搭建 zookeeper_hbase_hive_sqoop_mysql_spark_hdfs.doc

test_hive.rar_ThriftHive.php_hive_hive php_php hive_php hive Thr

Hive_JDBC.zip_hive java_hive jdbc_hive jdbc pom_java hive_maven连

hive的思维导图//////////////////

hive高级分析函数与优化.rar_hive_hive 函数优化_hive 分析 大数据_hive高级优化_oldwlc

hive客户端安装_hive客户端安装_hive_

hive_medo_java_hive_

Hive_UDF.rar_hive_sqoop

kafka_hdfs_consumer

Apache Hive 中文手册_hive_

hive-solr-master.zip_hive_solr_solr-hive

Hive-工具篇_hive_

HBase与hive整合 和 hive与hdfs结合的效率对比1

DataX实现MySQL与HDFS/Hive间的数据迁移流程详解

Hue权限管理：CDH平台Hive库/表/列级访问设置教程

最新推荐

hive-shell批量命令执行脚本的实现方法

Hive用户指南(Hive_user_guide)_中文版.pdf

如何在python中写hive脚本

【java毕业设计】网页时装购物系统源码（springboot+vue+mysql+说明文档+LW）.zip

Angular实现MarcHayek简历展示应用教程

管理建模和仿真的文件

深入剖析：内存溢出背后的原因、预防及应急策略（专家版）

Java中如何对年月日时分秒的日期字符串作如下处理：如何日期分钟介于两个相连的半点之间，就将分钟数调整为前半点

Crossbow Spot最新更新 - 获取Chrome扩展新闻

"互动学习：行动中的多样性与论文攻读经历"

hive高级分析函数与优化.rar_hive_hive 函数优化_hive 分析大数据_hive高级优化_oldwlc

HBase与hive整合和 hive与hdfs结合的效率对比1