spark on yarn /bin/bash: /bin/java: 没有那个文件或目录

这个错误通常意味着您的环境变量没有正确配置或者Java安装出现问题。您可以按照以下步骤来解决该问题：

1. 确认Java已经成功安装并且环境变量已经正确配置。您可以在终端中输入“java -version”来检查Java是否正确安装，并且环境变量是否配置正确。

2. 如果Java已经正确安装并且环境变量已经正确配置，那么您需要检查您的Spark和YARN的配置文件是否正确。特别是，您需要确认您的SPARK_HOME和JAVA_HOME变量是否正确设置。

3. 如果您的配置文件正确，那么您可以尝试重新安装Spark和YARN，并且确保在安装过程中没有出现任何错误。

4. 最后，如果以上步骤都无法解决问题，那么您可以尝试在您的终端中手动设置JAVA_HOME变量。您可以使用以下命令来手动设置JAVA_HOME变量：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

注意：这里的路径可能需要根据您的实际情况进行更改。

如果您仍然遇到问题，请提供更多详细信息，例如您的操作系统，Spark和YARN版本等，以便我们更好地帮助您解决问题。

相关问题

spark3.0 on yarn /bin/bash: /bin/java: 没有那个文件或目录

这个错误提示意味着系统无法找到 Java 的可执行文件。你需要先确认系统中是否已经安装了 Java，并且配置了正确的环境变量。你可以通过以下命令来检查 Java 是否已经安装：

java -version

如果 Java 已经安装，系统会输出 Java 版本信息。如果没有安装，你需要先安装 Java，然后将其添加到系统的 PATH 环境变量中。

另外，如果你在执行 Spark 命令时使用了绝对路径，可能需要修改为相对路径以避免这个问题。

spark on yarn环境配置

在配置 Spark on YARN 环境之前，你需要确保以下条件已经满足：

1. 安装了 Hadoop 分布式文件系统和 YARN（Yet Another Resource Negotiator）资源管理器。
2. 下载和安装了 Spark。

接下来，你需要按照以下步骤配置 Spark on YARN 环境：

1. 在 Spark 安装目录中，找到 `conf` 目录并复制 `spark-env.sh.template` 文件并将其命名为 `spark-env.sh`。

2. 打开 `spark-env.sh` 文件并添加以下内容：

   export HADOOP_CONF_DIR=/path/to/hadoop/conf
   export YARN_CONF_DIR=/path/to/hadoop/conf
   export SPARK_EXECUTOR_MEMORY=1g
   export SPARK_DRIVER_MEMORY=1g
   export SPARK_YARN_APP_NAME=Spark
   export SPARK_HOME=/path/to/spark

其中，`/path/to/hadoop/conf` 是你的 Hadoop 配置文件的路径，`/path/to/spark` 是你的 Spark 安装路径，`SPARK_EXECUTOR_MEMORY` 和 `SPARK_DRIVER_MEMORY` 分别设置了 Spark executor 和 driver 的内存大小，`SPARK_YARN_APP_NAME` 是 Spark 在 YARN 上的应用名称。

3. 配置 Spark 的运行模式。在 `conf` 目录下找到 `spark-defaults.conf` 文件，并将以下内容添加到文件末尾：

   spark.master yarn
   spark.submit.deployMode client
   spark.driver.extraJavaOptions -Dhdp.version=2.7.3.2.6.0.3-8
   spark.yarn.am.extraJavaOptions -Dhdp.version=2.7.3.2.6.0.3-8
   spark.executor.extraJavaOptions -Dhdp.version=2.7.3.2.6.0.3-8

`spark.master yarn` 表示 Spark 运行在 YARN 上，`spark.submit.deployMode client` 表示 Spark 运行在客户端模式下。

4. 启动 Spark on YARN。在 Spark 安装目录中运行以下命令：

   ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
   --master yarn \
   --deploy-mode client \
   --executor-memory 1g \
   --num-executors 2 \
   --driver-memory 1g \
   --executor-cores 1 \
   --queue default \
   examples/jars/spark-examples_2.11-2.4.5.jar 10

这会启动一个 Spark 应用程序，并在 YARN 上分配 2 个执行器，并使用 1GB 的内存。

配置完成后，你可以在 Spark on YARN 上运行 Spark 应用程序了。