spark on yarn环境配置

在使用 Spark on YARN 之前，您需要完成以下环境配置：

1. 安装 Hadoop 集群，并且保证 HDFS 和 YARN 服务正常运行。

2. 下载 Spark 并解压到您的计算机上，并在所有节点上安装 Spark。

3. 配置 Spark 和 YARN 的环境变量，例如在 ~/.bashrc 中添加以下内容：

export SPARK_HOME=/path/to/spark
export PATH=$SPARK_HOME/bin:$PATH
export HADOOP_CONF_DIR=/path/to/hadoop/etc/hadoop

其中，`/path/to/spark` 为您解压 Spark 的路径，`/path/to/hadoop` 为您的 Hadoop 安装路径。

4. 配置 Spark 的 YARN 集成，例如在 Spark 的 `conf/spark-defaults.conf` 文件中添加以下内容：

spark.master                     yarn
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs:///spark-logs
spark.yarn.historyServer.address http://your-history-server:18080

其中，`yarn` 表示您将使用 YARN 作为 Spark 的资源管理器，`/spark-logs` 为 Spark 事件日志的保存路径，`http://your-history-server:18080` 为 Spark 历史服务器的地址。

完成以上环境配置后，您可以使用 Spark on YARN 进行大规模分布式计算了。