CDH3.6.1环境下Hive-2.1.1 JDBC驱动库及Jar包集合

需积分: 40 26 下载量 190 浏览量 更新于2024-11-06 收藏 129.45MB ZIP 举报
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。CDH(Cloudera's Distribution Including Apache Hadoop)是Cloudera公司推出的Hadoop发行版,它集成了许多开源的大数据处理组件。Hive-2.1.1-CDH-3.6.1是特定版本的Hive,适用于CDH 3.6.1版本的Hadoop环境。 1. **JDBC连接驱动**:JDBC(Java Database Connectivity)是一种Java API,允许应用程序执行SQL语句。JDBC驱动使得Java程序能够通过标准的数据库连接协议与数据库进行交互。在大数据环境下,JDBC同样适用于与Hive进行连接。 2. **hadoop-common-3.0.0-cdh6.3.1.jar**:这个Jar包包含了Hadoop的核心组件,其中包括配置文件、网络库以及HDFS的客户端库。Hadoop作为一个分布式存储系统,提供了高可靠性、高扩展性、高效性和高容错性的特点,它是处理大数据的基础。 3. **hive-exec-2.1.1-cdh6.3.1.jar**:此Jar包包含了Hive的执行引擎模块,负责编译和执行HiveQL语句。 4. **hive-jdbc-2.1.1-cdh6.3.1.jar 和 hive-jdbc-2.1.1-cdh6.3.1-standalone.jar**:这两个Jar包是Hive的JDBC驱动程序,用于支持通过JDBC接口连接Hive服务。"standalone"版本可能包含额外的资源,以便在独立模式下运行。 5. **hive-metastore-2.1.1-cdh6.3.1.jar**:元数据存储服务(Metastore)是Hive用来存储关于表结构信息的服务。这个Jar包提供了元数据存储的实现,使得Hive能够了解数据的结构和存储细节。 6. **hive-service-2.1.1-cdh6.3.1.jar**:这个Jar包包含Hive服务的组件,它允许Hive作为一个服务在集群中运行。 7. **libfb303-0.9.3.jar**:这是一个Facebook开发的库,主要用于提供服务监控和管理功能。 8. **log4j-1.2.17.jar**:日志记录库,用于记录运行时的错误、调试信息等。 9. **slf4j-api-1.7.25.jar**:这是一个日志门面(抽象层/日志外观),允许最终用户在配置文件中自由选择日志系统。 10. **slf4j-log4j12-1.7.25.jar**:这个Jar包提供了对log4j-1.2.x版本的支持,它与slf4j-api结合,实现了日志的具体记录功能。 11. **ST4-4.0.8.jar**:Apache Commons Text库,提供了一些文本处理的工具类,可能会被Hive中的一些模块使用。 这个集合中的Jar包集合是用于Hive在CDH环境中的连接和操作,如数据库客户端连接、报表工具连接等。例如FineReport是一种数据可视化报表工具,可以利用这些驱动连接到Hive,并进行数据的提取、转换、加载(ETL)和报告生成。 总体而言,这些驱动和库文件是部署和使用Hive-2.1.1-CDH-3.6.1时必不可少的组件。它们支持Hive作为一个数据仓库工具在Hadoop集群上进行高效的数据查询和分析。此外,这些Jar包也用于支持客户端工具连接到Hive服务器,并通过标准的SQL接口来操作大数据,使得非开发人员也能通过熟悉的SQL语言来进行数据分析和处理。

[root@master apache-hive-2.1.1-bin]# bin/hive which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/java/jdk1.8.0_144/bin:/usr/zookeeper/zookeeper-3.4.10/bin:/usr/hadoop/hadoop-2.7.3/bin:/usr/hadoop/hadoop-2.7.3/sbin:/root/bin:/usr/java/jdk1.8.0_144/bin:/usr/zookeeper/zookeeper-3.4.10/bin:/usr/hadoop/hadoop-2.7.3/bin:/usr/hadoop/hadoop-2.7.3/sbin:/usr/hive/apache-hive-2.1.1-bin/bin) SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/hive/apache-hive-2.1.1-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/usr/hadoop/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Logging initialized using configuration in jar:file:/usr/hive/apache-hive-2.1.1-bin/lib/hive-common-2.1.1.jar!/hive-log4j2.properties Async: true Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:591) at org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:531) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:705) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:641) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:221) at org.apache.hadoop.util.RunJar.main(RunJar.java:136) Caused by: org.apache.hadoop.hiv

2025-03-13 上传
337 浏览量