hive进入安全模式

当Hive连接到Hadoop集群时，如果HDFS处于安全模式，那么Hive也会进入安全模式。在Hive的安全模式下，用户不能修改或删除表，也不能添加或删除分区。这是因为Hive需要访问HDFS来执行这些操作，而HDFS处于安全模式下不允许这些操作。要解决这个问题，需要关闭HDFS的安全模式。具体做法是使用以下命令：hdfs dfsadmin -safemode leave。这将使HDFS退出安全模式，然后Hive也会退出安全模式。如果HDFS无法退出安全模式，那么可能是由于数据节点丢失导致的，需要检查并修复数据节点。

相关问题

三节点的Hadoop集群，采用的是，一个节点中作为hive的服务端，一个节点作为hive的客户端，一个节点安装MySQL，现在想要安装hive on spark模式采用的是yarn管理的。那么hive，spark该怎么配置？

在Hadoop集群中将Hive迁移到Spark的YARN模式下，需要对Hive、Spark和YARN进行一些配置。以下是基本步骤：

1. **安装Spark**：
- 首先，在YARN节点上安装Apache Spark并配置环境变量，确保Spark可以与YARN集成。
- 检查YARN的`yarn-site.xml`文件，确认`yarn.app.mapreduce.am.class`设置为`org.apache.spark.yarn_amlauncher.YarnAMLauncher`。

2. **配置Hive on Spark**：
- 更新Hive元数据存储位置：在Hive的`conf/hive-site.xml`文件中，设置`javax.jdo.option.ConnectionURL`指向MySQL数据库，同时配置`javax.jdo.option.ConnectionDriverName`为对应的MySQL驱动名称。
- 在Hive的`conf/hive-env.sh`文件中，增加Spark的Jars到`SPARK_JARS`环境变量，如`export SPARK_JARS=<path_to_spark_jar>`。
- 启动Hive Metastore服务，并在启动脚本中指定Spark作为Metastore的执行引擎，例如通过`hive.metastore.uris`设置为`thrift://<yarn_node>:9083`，其中`<yarn_node>`是YARN节点IP。

3. **修改Spark配置**：
- 在Spark的`conf/spark-defaults.conf`文件中，添加如下内容以启用Hive支持：

     spark.sql.warehouse.dir=hdfs://<hadoop_namenode>:<port>/warehouse
     spark.sql.hive.metastore.uris=thrift://<yarn_node>:9083

4. **安全性和认证**：
- 如果集群有安全设置，记得配置Hive和Spark的凭据信息，包括Kerberos认证等。

5. **测试与验证**：
- 使用Spark SQL或者其他工具测试连接Hive表，确保可以从YARN节点访问数据和执行查询。

windows配置hive

Windows环境下配置Hive主要是为了让你能够在本地或远程服务器上运行Apache Hive SQL查询。以下是基本步骤：

1. **安装Hadoop**: 首先，你需要安装Hadoop集群，包括HDFS和YARN。因为Hive是Hadoop生态系统的一部分，所以Hive通常会随Hadoop一起安装。

2. **下载和解压Hive**: 在Hadoop安装好之后，从Apache官网下载Hive源码包并解压到合适的位置。

3. **配置环境变量**: 添加Hive的bin目录到系统的PATH环境变量中，方便命令行操作。同时，也要设置JAVA_HOME指向JDK的安装路径。

4. **启动Hadoop服务**: 启动Hadoop的服务，如HDFS namenode、datanodes和ResourceManager等。

5. **配置核心-site.xml和hdfs-site.xml**: 这两个文件位于Hadoop的conf目录下，需要配置HDFS的相关信息，比如namenode地址和数据存储位置。

6. **配置hive-env.sh**: 设置HIVE_HOME和HADOOP_CONF_DIR环境变量，指向下装的Hive和Hadoop配置文件夹。

7. **编辑hive-site.xml**: 此文件包含Hive的核心配置，如Metastore数据库连接信息（通常是基于HSQLDB的内存模式），或者如果需要外部RDBMS，这里也需要相应的配置。

8. **启动Metastore服务**: Hive Metastore是一个用于存储元数据（例如表结构和分区信息）的服务器，可以通过`beeline`或`start-metastore.sh`命令启动。

9. **验证配置**: 使用`hadoop fs -ls`检查HDFS是否可以正常访问，通过`beeline`测试Hive是否能连接到Metastore。

10. **安全性配置** (可选): 如果需要对Hive进行安全控制，需要配置Kerberos或LDAP等身份验证机制。

完成以上步骤后，你就可以在Windows命令行里使用`beeline`或者Hive的客户端工具来执行SQL了。