在hadoop集群中配置spark on yarn(3.1.1版本)的配置

在Hadoop集群上配置Spark on YARN (Yet Another Resource Negotiator)，主要是为了将Spark分布式计算框架与YARN资源调度框架集成。以下是基本步骤：

1. **安装Spark on YARN依赖**：
- 首先，你需要有一个已经部署并运行良好的Hadoop YARN集群，并确保Hadoop和Spark的版本兼容。

2. **修改`spark-defaults.conf`**：
- 在Spark安装目录下（如`SPARK_HOME/conf`），编辑`spark-defaults.conf`文件，添加YARN相关的配置项，例如设置`spark.master`为`yarn-client`，表示非托管模式。还可以调整其他配置，比如`spark.yarn.appMasterEnv`用于传递环境变量给App Master等。

spark.master=yarn-client
spark.executor.instances=数_of_executors

3. **创建`yarn-site.xml`**：
- 如果还没有，需要在Hadoop的`conf`目录下创建`yarn-site.xml`文件，配置YARN的相关参数，如`yarn.nodemanager.vmem-pinning-enabled`（是否启用内存分配策略）和`yarn.resourcemanager.am.max-attempts`（AppMaster重试次数）。

4. **启动服务**：
- 启动YARN集群的NodeManager、ResourceManager以及Spark History Server（如果未开启）。

5. **提交应用程序**：
- 使用`spark-submit`命令，指定`--master yarn`来提交应用到YARN，例如：

   spark-submit --master yarn your-app.jar

6. **监控和日志**：
- 通过YARN Web UI（默认端口8088）可以监控Spark应用程序的状态和资源使用情况。