Hive安装全攻略:从配置到连接MySQL

需积分: 11 3 下载量 143 浏览量 更新于2024-09-10 收藏 2KB TXT 举报
"这篇文档是关于Hive安装的详细步骤,包括解压Hive软件包、配置MySQL数据库、设置Hive环境变量以及配置Hive-site.xml文件,并且提到了将MySQL驱动添加到Hive的lib目录下以连接MySQL元数据存储。" 在大数据处理领域,Hive是一个基于Hadoop的数据仓库工具,它允许使用SQL(HQL)语言来查询、管理和存储数据。下面我们将详细解析这个安装手册中的关键步骤: 1. **解压缩Hive软件**:首先,你需要下载Hive的二进制包,通常是`.tar.gz`格式。通过命令`tar -zxvf hive-1.2.1.tar.gz`来解压缩文件。解压后,你需要将其移动到一个适当的目录,例如 `/usr/local/`,并创建一个符号链接以便于管理。 2. **安装MySQL数据库**:Hive通常使用MySQL作为其元数据存储,因此你需要确保已经安装了MySQL服务器,并且能够正常运行。你可以使用`yum install mysql-server`命令在基于RPM的系统(如CentOS)上安装MySQL。 3. **配置Hive环境变量**:为了使得Hive可执行文件能在系统路径中找到,你需要设置`HIVE_HOME`环境变量。在bash配置文件(如`~/.bashrc`或`~/.bash_profile`)中,添加如下行: ```bash export HIVE_HOME=/path/to/hive export PATH=$PATH:$HIVE_HOME/bin ``` 并运行`source ~/.bashrc`或`source ~/.bash_profile`使更改生效。 4. **配置Hive-site.xml**:Hive需要一个配置文件来指定元数据存储的位置和其他参数。在`$HIVE_HOME/conf`目录下,你需要编辑`hive-site.xml`文件。手册中给出的配置片段用于连接MySQL元数据存储,确保替换`<value>`标签内的值以匹配你的MySQL服务器的配置,例如: - `javax.jdo.option.ConnectionURL`: JDBC连接字符串,指向你的MySQL服务器地址。 - `javax.jdo.option.ConnectionDriverName`: JDBC驱动类名,这里是MySQL的驱动类。 - `javax.jdo.option.ConnectionUserName`和`javax.jdo.option.ConnectionPassword`: 用于连接MySQL的用户名和密码。 5. **添加MySQL驱动到Hive**:为了让Hive能与MySQL通信,你需要将MySQL的JDBC驱动(`mysql-connector-java.jar`)复制到`$HIVE_HOME/lib`目录。如果驱动不在你的系统类路径中,Hive将无法连接到MySQL数据库。 6. **授予MySQL权限**:最后,在MySQL中,你需要以root用户登录并为Hive创建一个用户,并赋予所有权限。示例SQL命令: ```sql GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'password'; ``` 这会创建一个名为'hive'的用户,允许从任何主机(% 表示任意IP)连接,并赋予所有数据库的所有表的全部权限。请记得替换'password'为你的实际密码。 完成上述步骤后,你应该能够启动Hive服务并进行基本操作。但请注意,实际生产环境中,你可能还需要考虑其他配置,比如安全性设置、集群配置等。在测试和生产环境中,对数据库用户的权限管理要格外谨慎,避免不必要的安全风险。

结合下面hive元数据信息,生成hive建表语句,并且加上comment,注意day是分区 dwd_weibo_crawl NULL appmarket_appinfo GN线应用市场 2021-01-07 15:07:29 apk 应用包名 string day string入库日期 org.apache.hadoop.hive.ql.io.orc.OrcSerde serialization.format 1 hdfs://DSbigdata/hiveDW/dwd_exten_crawl/appmarket_appinfo org.apache.hadoop.hive.ql.io.orc.OrcInputFormat org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat dwd_weibo_crawl NULL appmarket_appinfo GN线应用市场 2021-01-07 15:07:29 app_name 应用名称 string day string 入库日期 org.apache.hadoop.hive.ql.io.orc.OrcSerde serialization.format 1 hdfs://DSbigdata/hiveDW/dwd_exten_crawl/appmarket_appinfo org.apache.hadoop.hive.ql.io.orc.OrcInputFormat org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat dwd_weibo_crawl NULL appmarket_appinfo GN线应用市场 2021-01-07 15:07:29 app_url 平台详情页链接 string day string入库日期 org.apache.hadoop.hive.ql.io.orc.OrcSerde serialization.format 1 hdfs://DSbigdata/hiveDW/dwd_exten_crawl/appmarket_appinfo org.apache.hadoop.hive.ql.io.orc.OrcInputFormat org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat dwd_weibo_crawl NULL appmarket_appinfo GN线应用市场 2021-01-07 15:07:29 cate 应用所属分类 string day string入库日期 org.apache.hadoop.hive.ql.io.orc.OrcSerde serialization.format 1 hdfs://DSbigdata/hiveDW/dwd_exten_crawl/appmarket_appinfo org.apache.hadoop.hive.ql.io.orc.OrcInputFormat org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat dwd_weibo_crawl NULL appmarket_appinfo GN线应用市场 2021-01-07 15:07:29 other 其他 string day string 入库日期 org.apache.hadoop.hive.ql.io.orc.OrcSerde serialization.format 1 hdfs://DSbigdata/hiveDW/dwd_exten_crawl/appmarket_appinfo org.apache.hadoop.hive.ql.io.orc.OrcInputFormat org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat dwd_weibo_crawl NULL appmarket_appinfo GN线应用市场 2021-01-07 15:07:29 region 平台名称 string day stri

2023-06-10 上传