spark on yarn 怎么配置

要在 YARN 上配置 Spark 的话，需要进行以下几个步骤：

1. 安装 Hadoop 和 Spark

2. 编辑 $SPARK_HOME/conf/spark-env.sh 文件，设置 YARN_HDFS 和 YARN_CONF_DIR 环境变量，例如：

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

export YARN_HDFS=hdfs://<hdfs_host>:<hdfs_port>/

3. 编辑 $SPARK_HOME/conf/spark-defaults.conf 文件，设置 master 和 deploy-mode，例如：

spark.master yarn

spark.deploy-mode cluster

4. 部署 Spark 应用程序到 YARN 集群上，例如：

$SPARK_HOME/bin/spark-submit --class <application_class> \

--master yarn \

--deploy-mode cluster \

<application_jar> \

<application_arguments>

相关问题

spark on yarn 配置具体步骤

配置Spark on YARN的具体步骤如下：

1. 确认集群环境：检查所有节点上的Java和Hadoop版本是否兼容，并确保每个节点都可以透过SSH访问其他节点。
2. 安装Spark：在每个节点上安装Spark，并确保配置文件路径相同。
3. 配置Spark运行环境：在每个节点上创建一个类似于“/usr/local/spark/conf/spark-env.sh”的配置文件，并设置相关环境变量。其中，SPARK_HOME必须指向Spark安装目录，JAVA_HOME必须指向JDK安装目录，HADOOP_CONF_DIR必须指向Hadoop配置目录。
4. 配置YARN：在每个节点上创建一个类似于“/usr/local/hadoop/etc/hadoop/yarn-site.xml”的配置文件，并设置以下属性：

a. yarn.resourcemanager.hostname：指定YARN的主机名。
b. yarn.nodemanager.aux-services：指定YARN NodeManager的辅助服务类别，例如“mapreduce_shuffle”。
c. yarn.nodemanager.aux-services.mapreduce.shuffle.class：指定YARN NodeManager的特定辅助服务的实现类。

5. 提交应用程序：准备Spark应用程序的jar包，并使用命令行工具在YARN上提交它。首先运行“spark-submit”命令，然后提供Spark应用程序的jar包、主函数类、应用程序参数和其他选项（例如，--master yarn）。

完成以上步骤后，Spark应用程序就可以在YARN上运行了。

Spark on Yarn安装配置

好的，关于Spark on Yarn的安装配置，可以参考以下步骤：

1. 首先确保已经安装好Hadoop和Yarn，并且已经在Yarn上配置好了Hadoop集群。

2. 下载Spark源码，并进行编译。可以参考Spark官网上的文档进行编译。

3. 将编译好的Spark压缩包上传到Hadoop集群的某个节点上，并解压。

4. 在Spark的conf目录下复制模板文件spark-env.sh.template，并将其命名为spark-env.sh。

5. 修改spark-env.sh文件中的一些配置项，例如JAVA_HOME、SPARK_MASTER_HOST等等。具体的配置项可以参考Spark官网上的文档。

6. 在Spark的bin目录下执行./start-all.sh命令，启动Spark集群。

7. 如果需要在Yarn上运行Spark应用程序，可以使用命令./bin/spark-submit --class [class name] --master yarn --deploy-mode [deploy mode] [application jar] [application arguments]。

希望以上步骤可以帮助到你。