spark-local 模式 提示 /tmp/hive hdfs 权限不够的问题

这个问题通常是因为在运行 Spark 任务时，没有足够的权限访问 HDFS 的根目录 /tmp/hive。可以尝试以下几个解决方法：

1. 修改 HDFS 的权限：在 HDFS 中使用 `hadoop fs -chmod` 命令修改 `/tmp/hive` 目录的权限，确保 Spark 用户具有读写权限。

2. 指定 Spark 使用的 HDFS 用户：在启动 Spark 应用程序时，可以通过设置 `HADOOP_USER_NAME` 环境变量来指定 Spark 使用的 HDFS 用户。例如，可以设置 `export HADOOP_USER_NAME=hdfs`，这样 Spark 就会使用 HDFS 的 hdfs 用户来访问数据。

3. 修改 Spark 的运行用户：如果您使用的是 Linux 系统，可以通过修改 Spark 运行的用户来解决这个问题。例如，您可以使用 `sudo -u <username>` 命令以特定用户身份启动 Spark，确保该用户具有访问 `/tmp/hive` 目录的权限。

希望这些解决方法能够帮助到您！

相关问题

Hive on Spark 搭建过程(hvie-3.1.2 spark-2.4.5 hadoop-3.1.3)

以下是 Hive on Spark 搭建过程的详细步骤：

1. 下载 Hadoop、Spark 和 Hive 的压缩包，并解压到指定目录下。

2. 配置环境变量，将 Hadoop、Spark 和 Hive 的 bin 目录添加到 PATH 路径中。

3. 修改 Hadoop 和 Spark 的配置文件。

- Hadoop 的配置文件：$HADOOP_HOME/etc/hadoop/core-site.xml、$HADOOP_HOME/etc/hadoop/hdfs-site.xml、$HADOOP_HOME/etc/hadoop/mapred-site.xml、$HADOOP_HOME/etc/hadoop/yarn-site.xml。

- Spark 的配置文件：$SPARK_HOME/conf/spark-env.sh、$SPARK_HOME/conf/spark-defaults.conf。

4. 配置 Hive on Spark。

- 将 $HIVE_HOME/lib 下的 spark 相关 jar 包复制到 $SPARK_HOME/jars 目录下。

- 修改 $HIVE_HOME/conf/hive-site.xml 文件，添加以下配置：

<property>
    <name>hive.execution.engine</name>
    <value>spark</value>
</property>
<property>
    <name>spark.master</name>
    <value>local[*]</value>
    <description>Master URL for the cluster manager.</description>
</property>
<property>
    <name>spark.submit.deployMode</name>
    <value>client</value>
    <description>Whether to launch the driver program locally ("client") or on one of the worker machines inside the cluster ("cluster")</description>
</property>

5. 启动 Spark 集群。

- 启动 Hadoop 集群。

- 启动 Spark 集群，可以使用以下命令：

$SPARK_HOME/sbin/start-all.sh

6. 启动 Hive on Spark。

- 启动 HiveServer2，可以使用以下命令：

$HIVE_HOME/bin/hiveserver2 --service metastore &

- 启动 beeline 或 hive 命令行客户端，连接 HiveServer2。

7. 测试 Hive on Spark 是否正常运行。

- 在 beeline 或 hive 命令行客户端中执行以下命令：

CREATE TABLE test_spark(id INT, name STRING) USING org.apache.spark.sql.parquet OPTIONS (PATH '/tmp/test_spark');
INSERT INTO test_spark VALUES(1, 'test');
SELECT * FROM test_spark;

如果查询结果正确，说明 Hive on Spark 搭建成功。

希望这些步骤能够帮助到你。

Spark：windows下配置hive hadoop spark hbase flink 一体化开发环境

在Windows下配置Hive、Hadoop、Spark、HBase、Flink一体化开发环境的步骤如下：

1. 下载Java JDK，并安装配置好环境变量；

2. 下载Hadoop，并解压到本地目录；

3. 配置环境变量，将Hadoop的bin目录添加到PATH中；

4. 在Hadoop的etc/hadoop目录下，修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml四个文件，具体修改内容可以参考Hadoop的官方文档；

5. 下载Hive，并解压到本地目录；

6. 配置环境变量，将Hive的bin目录添加到PATH中；

7. 创建Hive的日志目录，例如：C:\tmp\hive\log；

8. 在Hive的conf目录下，将hive-site.xml.template 文件复制为 hive-site.xml，并打开编辑，在文件中添加以下内容：

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:derby:/path/to/metastore_db;create=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
  <description>location of default database for the warehouse</description>
</property>
<property>
  <name>hive.exec.scratchdir</name>
  <value>/tmp/hive</value>
  <description>Scratch space for Hive jobs</description>
</property>
<property>
  <name>hive.log.dir</name>
  <value>C:\tmp\hive\log</value>
  <description>Directory to store Hive logs</description>
</property>

其中，ConnectionURL 部分需要根据实际情况修改；

9. 下载Spark，并解压到本地目录；

10. 配置环境变量，将Spark的bin目录添加到PATH中；

11. 在Spark的conf目录下，将spark-env.cmd.template 文件复制为 spark-env.cmd，并打开编辑，在文件中添加以下内容：

set SPARK_LOCAL_IP=127.0.0.1
set JAVA_HOME=你的Java JDK路径
set HADOOP_HOME=你的Hadoop路径
set HADOOP_CONF_DIR=%HADOOP_HOME%\etc\hadoop

其中，SPARK_LOCAL_IP 为 Spark Master 的 IP，如果是本地开发可以设置为 127.0.0.1；

12. 下载HBase，并解压到本地目录；

13. 配置环境变量，将HBase的bin目录添加到PATH中；

14. 在HBase的conf目录下，将hbase-site.xml.template 文件复制为 hbase-site.xml，并打开编辑，在文件中添加以下内容：

<property>
  <name>hbase.rootdir</name>
  <value>file:///C:/hbase</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>file:///C:/hbase/zookeeper</value>
</property>

其中，hbase.rootdir 和 hbase.zookeeper.property.dataDir 需要根据实际情况修改；

15. 下载Flink，并解压到本地目录；

16. 配置环境变量，将Flink的bin目录添加到PATH中；

17. 在Flink的conf目录下，将flink-conf.yaml.template 文件复制为 flink-conf.yaml，并打开编辑，在文件中添加以下内容：

jobmanager.rpc.address: localhost
jobmanager.rpc.port: 6123
taskmanager.numberOfTaskSlots: 1

18. 启动Hadoop、Hive、HBase、Spark、Flink服务，具体启动命令可以参考官方文档。

注意：在Windows上一体化开发环境的配置可能会遇到一些问题，例如路径中的反斜杠需要转义为双反斜杠，或者文件编码问题等。如果遇到问题，可以搜索相关解决方案或者在社区中咨询。