hive SQL 使用 Spark 引擎查询，查询引擎如何在命令行即时生效

时间: 2024-05-02 20:18:43 浏览: 281

第7集-Hadoop环境搭建 - linux（centos7） - 安装配置hive2.1.1.pdf

第7集：安装配置hive-2.1.1 合计8集： 1、ssh免登陆 2、安装配置jdk1.8 3、安装配置hadoop-2.7.7 4、安装配置mysql-5.5.44 5、安装配置scala-2.11.8 6、安装配置hbase-1.3.6 7、安装配置hive-2.1.1 8、安装配置spark（进行中 ### Hadoop环境搭建之Hive 2.1.1配置详解 #### 一、概述在构建大数据处理环境时，Apache Hive 是一个重要的组件，它提供了SQL查询功能，使用户能够方便地对存储在Hadoop文件系统（HDFS）中的大规模数据集进行数据汇总与查询。本篇文章将详细介绍如何在CentOS 7环境下安装配置Hive 2.1.1版本，为后续的大数据分析应用打下坚实的基础。 #### 二、环境准备在开始安装Hive之前，确保已经完成了以下步骤： 1. **SSH免密码登录**: 通过公钥认证实现无密码登录，以便于后续的集群操作。 2. **JDK 1.8安装配置**: Hive 2.1.1 要求JDK 1.8 或以上版本。 3. **Hadoop 2.7.7安装配置**: Hive 需要依赖Hadoop提供底层的数据存储支持。 4. **MySQL 5.5.44安装配置**: 用于存储Hive的元数据。 5. **Scala 2.11.8安装配置**: 虽然不是必须的，但安装Scala有助于更好地理解和使用Hive背后的原理。 6. **HBase 1.3.6安装配置**: 可选组件，用于支持Hive读写HBase表。 #### 三、Hive 2.1.1安装配置步骤 **1. 下载与解压** 在Hadoop用户的家目录下下载并解压缩Hive 2.1.1: ```bash [hadoop@localhost ~]$ pwd /home/hadoop [hadoop@localhost ~]$ tar -zxf apache-hive-2.1.1-bin.tar.gz [hadoop@localhost ~]$ mv apache-hive-2.1.1-bin hive-2.1.1 ``` **2. 创建必要目录** 在Linux系统中创建必要的目录，用于Hive的数据存储和日志记录： ```bash [hadoop@localhost ~]$ mkdir -p /home/hadoop/hive-2.1.1/hive/iotmp [hadoop@localhost ~]$ mkdir -p /home/hadoop/hive-2.1.1/hive/iotmp/operation_logs ``` **3. 配置环境变量** 修改 `/etc/profile` 文件，添加Hive相关的环境变量： ```bash export HIVE_HOME=/home/hadoop/hive-2.1.1 export HIVE_CONF_DIR=$HIVE_HOME/conf export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin ``` 执行 `source /etc/profile` 使环境变量生效。 **4. 配置Hive** **(1) 创建配置文件** 从模板文件复制并创建Hive的配置文件： ```bash [hadoop@localhost conf]$ cp hive-default.xml.template hive-site.xml [hadoop@localhost conf]$ cp hive-env.sh.template hive-env.sh [hadoop@localhost conf]$ cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties [hadoop@localhost conf]$ cp hive-log4j2.properties.template hive-log4j2.properties ``` **(2) 修改hive-env.sh** 在 `hive-env.sh` 文件中设置Java、Hadoop及Hive的环境变量路径： ```bash export JAVA_HOME=/home/hadoop/jdk1.8.0_161 export HADOOP_HOME=/home/hadoop/hadoop-2.7.7 export HIVE_HOME=/home/hadoop/hive-2.1.1 export HIVE_CONF_DIR=/home/hadoop/hive-2.1.1/conf export HIVE_AUX_JARS_PATH=/home/hadoop/hive-2.1.1/lib ``` **(3) 创建HDFS目录** 启动Hadoop后，在HDFS中创建必要的目录： ```bash [hadoop@localhost lib]$ hadoop fs -ls / [hadoop@localhost lib]$ hadoop fs -mkdir /tmp [hadoop@localhost lib]$ hadoop fs -mkdir /user [hadoop@localhost lib]$ hadoop fs -mkdir /user/warehouse [hadoop@localhost lib]$ hadoop fs -mkdir /tmp/hive [hadoop@localhost lib]$ hadoop fs -chmod -R 777 /tmp ``` **5. 配置hive-site.xml** 编辑 `hive-site.xml` 文件，设置Hive与Hadoop之间的关联配置，如HDFS的位置、元数据存储位置等： ```xml <configuration>  <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <description>连接到MySQL的URL</description> </property>  <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property>  <property> <name>hive.metastore.warehouse.dir</name> <value>hdfs://localhost:9000/user/warehouse</value> </property>  <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property> </configuration> ``` **6. 初始化Hive** 初始化Hive元数据仓库： ```bash [hadoop@localhost bin]$ $HIVE_HOME/bin/schematool -dbType mysql -initSchema ``` #### 四、验证安装完成上述所有步骤后，可以通过启动Hive CLI来验证Hive是否正确安装： ```bash [hadoop@localhost bin]$ $HIVE_HOME/bin/hive ``` 如果一切顺利，你应该能看到Hive的命令行界面。 #### 五、总结通过上述步骤，我们成功地在CentOS 7环境下安装配置了Hive 2.1.1，并且配置了Hive与Hadoop之间的交互。这为后续进行大数据分析奠定了基础。接下来可以继续学习Hive的使用方法，以及如何利用Hive进行数据处理和查询。 #### 六、扩展阅读 - **Hive官方文档**: [https://cwiki.apache.org/confluence/display/Hive/](https://cwiki.apache.org/confluence/display/Hive/) - **Hadoop官方文档**: [https://hadoop.apache.org/docs/current/](https://hadoop.apache.org/docs/current/) - **MySQL官方文档**: [https://dev.mysql.com/doc/](https://dev.mysql.com/doc/) - **Scala官方文档**: [https://docs.scala-lang.org/](https://docs.scala-lang.org/)

要在命令行中实时生效使用Spark引擎查询Hive SQL，可以使用以下步骤： 1. 打开终端并进入Hive的bin目录。 2. 启动Hive命令行界面，使用以下命令：hive 3. 进入Hive命令行后，使用以下命令将查询引擎设置为Spark：set hive.execution.engine=spark; 4. 接下来输入需要查询的SQL语句即可，例如：SELECT * FROM table_name; 5. 执行完毕后，退出Hive命令行界面即可。这样就可以在命令行中实时生效使用Spark引擎查询Hive SQL了。

阅读全文

hive SQL 使用 Spark 引擎查询 ，查询引擎如何在命令行 即时生效

相关推荐

spark-3.1.2-bin-hadoop2.7.tgz

dolphinscheduler配置

spark引擎下运行hive sql，使得array翻转

idea中使用spark sql查询hive

hive 怎么启用spark引擎

hive sql迁移spark sql在滴滴的实践

hive sql中怎么在查询时修改字段名称

hive sql中将计算引擎改为mapreduce

简述 hivesql 和spark-sql 的区别(可以百度)

hive配置spark执行引擎

如何计算留存率（hive sql or spark sql）

hive-exec-1.1.0配置spark引擎

hive sql多表查询

hive sql 查询

mysql，hive sql,spark sql语法乃至其他方面有什么区别？

hivesql如何将查询结果导出为csv文件

hive sql中怎么修改查询字段信息

hive on spark 和 spark sql的区别

hive用spark引擎要启动spark吗？该怎么配置spark呢

最新推荐

SqlServer使用 case when 解决多条件模糊查询问题

shell中循环调用hive sql 脚本的方法

Hive on Spark源码分析DOC

HIVE-SQL开发规范.docx

win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx

MATLAB实现小波阈值去噪：Visushrink硬软算法对比

管理建模和仿真的文件

【交互特征的影响】：分类问题中的深入探讨，如何正确应用交互特征

c语言从链式队列 中获取头部元素并返回其状态的函数怎么写

易语言实现画板图像缩放功能教程

hive SQL 使用 Spark 引擎查询，查询引擎如何在命令行即时生效

c语言从链式队列中获取头部元素并返回其状态的函数怎么写