Ubuntu 16.04 安装 Hive-1.2.2 教程:配合 Hadoop-2.6.5 和 MySQL
需积分: 27 188 浏览量
更新于2024-09-10
收藏 118KB DOCX 举报
"Ubuntu上基于伪分布模式安装Hadoop-2.6.5并配置Hive-1.2.2的详细步骤"
在Ubuntu 16.04操作系统上安装Hadoop和Hive是大数据处理的基础。首先,确保已经成功安装了JDK 1.8和Hadoop-2.6.5。可以通过运行`java`和`javac`命令检查JDK是否安装正确,而`start-all.sh`和`jps`命令则用于验证Hadoop是否正常启动。如果一切顺利,执行`stop-all.sh`可以停止所有Hadoop进程。
接下来是安装MySQL,因为Hive通常依赖于MySQL作为其元数据存储。在Ubuntu上,可以使用以下三条命令快速安装MySQL服务器、客户端和开发库:
1. `sudo apt-get install mysql-server`
2. `sudo apt install mysql-client`
3. `sudo apt install libmysqlclient-dev`
安装完成后,使用`netstat -tap | grep mysql`命令检查MySQL服务是否正在运行。如果一切正常,你应该能看到MySQL相关的网络连接。另外,可以通过输入`mysql -u root -p`并提供密码来登录MySQL,进一步确认安装成功。
然后是下载并解压Hive-1.2.2。从Apache官网的镜像站点(如http://mirrors.hust.edu.cn/apache/hive/)获取Hive的最新版本,将其解压到指定目录,例如`/home/wuxiteng/opt/softwares/hive`。使用`tar -zxvf apache-hive-1.2.2-bin.tar.gz`命令进行解压。
为了使系统能够识别Hive,需要编辑`~/.bashrc`文件,添加Hive的路径到PATH环境变量中。记得使用`source ~/.bashrc`使更改生效。接着,我们需要对Hive的配置文件进行修改。将`hive-default.xml.template`重命名为`hive-default.xml`,并根据需要调整配置,比如设置HDFS的路径。同样地,将`hive-env.sh.template`重命名为`hive-env.sh`,并在其中设置Hadoop的HADOOP_CONF_DIR路径。
启动Hadoop伪分布式环境,运行`start-all.sh`,然后启动Hive,执行`hive`命令。如果一切配置无误,你应该能看到Hive的交互式Shell界面。
在安装过程中可能会遇到一个问题,即Hive启动时由于jline版本冲突报错。这是因为`$HIVE_HOME/lib`目录下的`jline-2.12.jar`与`$HADOOP_HOME/share/hadoop/yarn/lib`下的`jline-0.9.94.jar`版本不匹配。解决这个问题的方法是删除或重命名`$HADOOP_HOME`目录下的低版本jline.jar,以避免版本冲突。
总结来说,这个过程包括了安装JDK和Hadoop,设置MySQL作为Hive的元数据存储,下载并配置Hive,以及解决可能出现的版本冲突问题。这些步骤是搭建一个本地Hadoop-Hive环境的基础,对于初学者和开发者来说,是学习和测试Hive功能的重要步骤。
2018-12-04 上传
2017-10-27 上传
2019-02-23 上传
2019-11-28 上传
2019-06-02 上传
2021-03-23 上传
2018-05-07 上传
WXteng
- 粉丝: 5
- 资源: 12
最新资源
- 高清艺术文字图标资源,PNG和ICO格式免费下载
- mui框架HTML5应用界面组件使用示例教程
- Vue.js开发利器:chrome-vue-devtools插件解析
- 掌握ElectronBrowserJS:打造跨平台电子应用
- 前端导师教程:构建与部署社交证明页面
- Java多线程与线程安全在断点续传中的实现
- 免Root一键卸载安卓预装应用教程
- 易语言实现高级表格滚动条完美控制技巧
- 超声波测距尺的源码实现
- 数据可视化与交互:构建易用的数据界面
- 实现Discourse外聘回复自动标记的简易插件
- 链表的头插法与尾插法实现及长度计算
- Playwright与Typescript及Mocha集成:自动化UI测试实践指南
- 128x128像素线性工具图标下载集合
- 易语言安装包程序增强版:智能导入与重复库过滤
- 利用AJAX与Spotify API在Google地图中探索世界音乐排行榜