"Hive伪分布式部署与配置指南详解"

需积分: 2 0 下载量 14 浏览量 更新于2024-01-12 收藏 1.83MB DOCX 举报
数据仓库Hive是一个基于Hadoop的数据仓库工具,可以方便地进行大数据分析和查询。本文将介绍如何在伪分布式环境下部署和配置Hive,并进行简单的应用。 首先,我们需要下载并解压Hive的源程序。通过以下命令可以完成此步骤: ```bash tar zxvf apache-hive-1.2.1-bin.tar.gz mv apache-hive-1.2.1-bin hive sudo mv hive/ /opt/ ``` 接着,我们需要配置环境变量,以便系统能够找到Hive的安装路径。通过编辑.bashrc文件并执行source命令,可以完成此步骤: ```bash vim .bashrc source .bashrc ``` 然后,我们需要对Hive进行配置。首先进入Hive的配置目录,然后编辑hive-site.xml文件并添加相关配置: ```bash cd /opt/hive/ cd conf/ vim hive-site.xml ``` 在hive-site.xml中,我们需要添加以下内容: ```xml <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> </property> <!-- 其他配置 --> </configuration> ``` 以上就是Hive的伪分布式部署和配置过程。一旦配置完成,就可以启动Hive并进行相关的数据仓库操作了。 在使用Hive进行数据仓库操作时,可以通过HiveQL语言来完成,类似于SQL语言。用户可以通过HiveQL来创建数据库、表,加载数据,以及进行各种查询和分析操作。 总的来说,数据仓库Hive的伪分布式部署和应用过程比较简单,只需按照上述步骤进行配置即可。配置完成后,就可以通过HiveQL语言进行各种数据仓库操作,为大数据分析提供了便利的工具和平台。
2017-11-08 上传
1. HIVE结构 6 1.1 HIVE架构 6 1.2 Hive 和 Hadoop 关系 7 1.3 Hive 和普通关系数据库的异同 8 1.4 HIVE元数据库 9 1.4.1 DERBY 9 1.4.2 Mysql 10 1.5 HIVE的数据存储 11 1.6 其它HIVE操作 11 2. HIVE 基本操作 12 2.1 create table 12 2.1.1 总述 12 2.1.2 语法 12 2.1.3 基本例子 14 2.1.4 创建分区 15 2.1.5 其它例子 16 2.2 Alter Table 17 2.2.1 Add Partitions 17 2.2.2 Drop Partitions 17 2.2.3 Rename Table 17 2.2.4 Change Column 18 2.2.5 Add/Replace Columns 18 2.3 Create View 18 2.4 Show 19 2.5 Load 19 2.6 Insert 21 2.6.1 Inserting data into Hive Tables from queries 21 2.6.2 Writing data into filesystem from queries 21 2.7 Cli 22 2.7.1 Hive Command line Options 22 2.7.2 Hive interactive Shell Command 24 2.7.3 Hive Resources 24 2.7.4 调用python、shell等语言 25 2.8 DROP 26 2.9 其它 27 2.9.1 Limit 27 2.9.2 Top k 27 2.9.3 REGEX Column Specification 27 3. Hive Select 27 3.1 Group By 28 3.2 Order /Sort By 28 4. Hive Join 29 5. HIVE参数设置 31 6. HIVE UDF 33 6.1 基本函数 33 6.1.1 关系操作符 33 6.1.2 代数操作符 34 6.1.3 逻辑操作符 35 6.1.4 复杂类型操作符 35 6.1.5 内建函数 36 6.1.6 数学函数 36 6.1.7 集合函数 36 6.1.8 类型转换 36 6.1.9 日期函数 36 6.1.10 条件函数 37 6.1.11 字符串函数 37 6.2 UDTF 39 6.2.1 Explode 39 7. HIVE 的MAP/REDUCE 41 7.1 JOIN 41 7.2 GROUP BY 42 7.3 DISTINCT 42 8. 使用HIVE注意点 43 8.1 字符集 43 8.2 压缩 43 8.3 count(distinct) 43 8.4 JOIN 43 8.5 DML操作 44 8.6 HAVING 44 8.7 子查询 44 8.8 Join中处理null值的语义区别 44 9. 优化与技巧 47 9.1 全排序 47 9.1.1 例1 48 9.1.2 例2 51 9.2 怎样做笛卡尔积 54 9.3 怎样写exist/in子句 54 9.4 怎样决定reducer个数 55 9.5 合并MapReduce操作 55 9.6 Bucket 与 sampling 56 9.7 Partition 57 9.8 JOIN 58 9.8.1 JOIN原则 58 9.8.2 Map Join 58 9.8.3 大表Join的数据偏斜 60 9.9 合并小文件 62 9.10 Group By 62 10. HIVE FAQ: 62