Ubuntu 16.04 安装 Hive-1.2.2 教程:配合 Hadoop-2.6.5 和 MySQL

需积分: 27 5 下载量 188 浏览量 更新于2024-09-10 收藏 118KB DOCX 举报
"Ubuntu上基于伪分布模式安装Hadoop-2.6.5并配置Hive-1.2.2的详细步骤" 在Ubuntu 16.04操作系统上安装Hadoop和Hive是大数据处理的基础。首先,确保已经成功安装了JDK 1.8和Hadoop-2.6.5。可以通过运行`java`和`javac`命令检查JDK是否安装正确,而`start-all.sh`和`jps`命令则用于验证Hadoop是否正常启动。如果一切顺利,执行`stop-all.sh`可以停止所有Hadoop进程。 接下来是安装MySQL,因为Hive通常依赖于MySQL作为其元数据存储。在Ubuntu上,可以使用以下三条命令快速安装MySQL服务器、客户端和开发库: 1. `sudo apt-get install mysql-server` 2. `sudo apt install mysql-client` 3. `sudo apt install libmysqlclient-dev` 安装完成后,使用`netstat -tap | grep mysql`命令检查MySQL服务是否正在运行。如果一切正常,你应该能看到MySQL相关的网络连接。另外,可以通过输入`mysql -u root -p`并提供密码来登录MySQL,进一步确认安装成功。 然后是下载并解压Hive-1.2.2。从Apache官网的镜像站点(如http://mirrors.hust.edu.cn/apache/hive/)获取Hive的最新版本,将其解压到指定目录,例如`/home/wuxiteng/opt/softwares/hive`。使用`tar -zxvf apache-hive-1.2.2-bin.tar.gz`命令进行解压。 为了使系统能够识别Hive,需要编辑`~/.bashrc`文件,添加Hive的路径到PATH环境变量中。记得使用`source ~/.bashrc`使更改生效。接着,我们需要对Hive的配置文件进行修改。将`hive-default.xml.template`重命名为`hive-default.xml`,并根据需要调整配置,比如设置HDFS的路径。同样地,将`hive-env.sh.template`重命名为`hive-env.sh`,并在其中设置Hadoop的HADOOP_CONF_DIR路径。 启动Hadoop伪分布式环境,运行`start-all.sh`,然后启动Hive,执行`hive`命令。如果一切配置无误,你应该能看到Hive的交互式Shell界面。 在安装过程中可能会遇到一个问题,即Hive启动时由于jline版本冲突报错。这是因为`$HIVE_HOME/lib`目录下的`jline-2.12.jar`与`$HADOOP_HOME/share/hadoop/yarn/lib`下的`jline-0.9.94.jar`版本不匹配。解决这个问题的方法是删除或重命名`$HADOOP_HOME`目录下的低版本jline.jar,以避免版本冲突。 总结来说,这个过程包括了安装JDK和Hadoop,设置MySQL作为Hive的元数据存储,下载并配置Hive,以及解决可能出现的版本冲突问题。这些步骤是搭建一个本地Hadoop-Hive环境的基础,对于初学者和开发者来说,是学习和测试Hive功能的重要步骤。