linux配置spark Hive

要在Linux上配置Spark Hive，你需要执行以下步骤：

1. 将Spark纯净版的jar包上传到HDFS。使用以下命令：
hdfs dfs -mkdir /spark-jars
hdfs dfs -put /opt/spark/jars/* /spark-jars
这将在HDFS上创建一个目录并将Spark的jar包上传到该目录中。

2. 配置Hive环境变量。打开/etc/profile文件，并添加以下两行代码：
export HIVE_HOME=/export/server/hive
export PATH=$HIVE_HOME/bin:$PATH
这将设置Hive的安装目录并将其添加到系统的环境变量中。

3. 启动Hive的metastore服务。使用以下命令：
nohup hive --service metastore 2>&1 > /tmp/hive-metastore.log &
这将在后台启动Hive的metastore服务，并将日志输出到/tmp/hive-metastore.log文件中。

4. 配置Spark与Hive的连接。在spark/conf/目录下创建一个hive-site.xml文件，并将以下内容添加到文件中：
<!-- 默认数仓的路径 -->
<!-- spark保存数据的路径的配置名叫spark.sql.warehouse.dir 如果SparkSQL找到了hive.metastore.warehouse.dir，那么 就用hive.metastore.warehouse.dir的值作为 spark.sql.warehouse.dir 如果找不到hive.metastore.warehouse.dir配置，就用默认的路径名 /root/spark-warehouse/ -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://node1:9083</value>
</property>
这将配置Hive的元数据仓库目录和连接信息，使Spark能够与Hive进行交互。

5. 修改hive-site.xml文件，添加Spark依赖位置和Hive执行引擎配置。将以下内容添加到hive-site.xml文件中：
<!--Spark 依赖位置（注意：端口号必须和namenode的端口号一致）-->
<property>
<name>spark.yarn.jars</name>
<!--<value>hdfs://hadoop:8020/spark-jars/*</value>-->
<value>hdfs://hadoop:9000/spark-jars/*</value>
</property>
<!--Hive 执行引擎-->
<property>
<name>hive.execution.engine</name>
<value>spark</value>
</property>
<!--Hive 和 Spark 连接超时时间-->
<property>
<name>hive.spark.client.connect.timeout</name>
<value>10000ms</value>
</property>
这将配置Spark的依赖位置以及设置Hive使用Spark作为执行引擎的参数。

以上是在Linux上配置Spark Hive的步骤。请根据你的实际情况进行相应的配置。<span class="em">1</span><span class="em">2</span><span class="em">3</span>