spark3.0 on yarn /bin/bash: /bin/java: 没有那个文件或目录

这个错误提示意味着系统无法找到 Java 的可执行文件。你需要先确认系统中是否已经安装了 Java，并且配置了正确的环境变量。你可以通过以下命令来检查 Java 是否已经安装：

java -version

如果 Java 已经安装，系统会输出 Java 版本信息。如果没有安装，你需要先安装 Java，然后将其添加到系统的 PATH 环境变量中。

另外，如果你在执行 Spark 命令时使用了绝对路径，可能需要修改为相对路径以避免这个问题。

相关问题

spark on yarn /bin/bash: /bin/java: 没有那个文件或目录

这个错误通常意味着您的环境变量没有正确配置或者Java安装出现问题。您可以按照以下步骤来解决该问题：

1. 确认Java已经成功安装并且环境变量已经正确配置。您可以在终端中输入“java -version”来检查Java是否正确安装，并且环境变量是否配置正确。

2. 如果Java已经正确安装并且环境变量已经正确配置，那么您需要检查您的Spark和YARN的配置文件是否正确。特别是，您需要确认您的SPARK_HOME和JAVA_HOME变量是否正确设置。

3. 如果您的配置文件正确，那么您可以尝试重新安装Spark和YARN，并且确保在安装过程中没有出现任何错误。

4. 最后，如果以上步骤都无法解决问题，那么您可以尝试在您的终端中手动设置JAVA_HOME变量。您可以使用以下命令来手动设置JAVA_HOME变量：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

注意：这里的路径可能需要根据您的实际情况进行更改。

如果您仍然遇到问题，请提供更多详细信息，例如您的操作系统，Spark和YARN版本等，以便我们更好地帮助您解决问题。

spark on yarn环境配置

在配置 Spark on YARN 环境之前，你需要确保以下条件已经满足：

1. 安装了 Hadoop 分布式文件系统和 YARN（Yet Another Resource Negotiator）资源管理器。
2. 下载和安装了 Spark。

接下来，你需要按照以下步骤配置 Spark on YARN 环境：

1. 在 Spark 安装目录中，找到 `conf` 目录并复制 `spark-env.sh.template` 文件并将其命名为 `spark-env.sh`。

2. 打开 `spark-env.sh` 文件并添加以下内容：

   export HADOOP_CONF_DIR=/path/to/hadoop/conf
   export YARN_CONF_DIR=/path/to/hadoop/conf
   export SPARK_EXECUTOR_MEMORY=1g
   export SPARK_DRIVER_MEMORY=1g
   export SPARK_YARN_APP_NAME=Spark
   export SPARK_HOME=/path/to/spark

其中，`/path/to/hadoop/conf` 是你的 Hadoop 配置文件的路径，`/path/to/spark` 是你的 Spark 安装路径，`SPARK_EXECUTOR_MEMORY` 和 `SPARK_DRIVER_MEMORY` 分别设置了 Spark executor 和 driver 的内存大小，`SPARK_YARN_APP_NAME` 是 Spark 在 YARN 上的应用名称。

3. 配置 Spark 的运行模式。在 `conf` 目录下找到 `spark-defaults.conf` 文件，并将以下内容添加到文件末尾：

   spark.master yarn
   spark.submit.deployMode client
   spark.driver.extraJavaOptions -Dhdp.version=2.7.3.2.6.0.3-8
   spark.yarn.am.extraJavaOptions -Dhdp.version=2.7.3.2.6.0.3-8
   spark.executor.extraJavaOptions -Dhdp.version=2.7.3.2.6.0.3-8

`spark.master yarn` 表示 Spark 运行在 YARN 上，`spark.submit.deployMode client` 表示 Spark 运行在客户端模式下。

4. 启动 Spark on YARN。在 Spark 安装目录中运行以下命令：

   ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
   --master yarn \
   --deploy-mode client \
   --executor-memory 1g \
   --num-executors 2 \
   --driver-memory 1g \
   --executor-cores 1 \
   --queue default \
   examples/jars/spark-examples_2.11-2.4.5.jar 10

这会启动一个 Spark 应用程序，并在 YARN 上分配 2 个执行器，并使用 1GB 的内存。

配置完成后，你可以在 Spark on YARN 上运行 Spark 应用程序了。