spark-yarn历史服务器的配置

在安装和配置 Spark-YARN 历史服务器之前，需要确保已经安装了 Spark 和 YARN，并且 Spark 和 YARN 的版本兼容。

以下是配置 Spark-YARN 历史服务器的步骤：

1. 下载 Spark-YARN 历史服务器

从 Spark 官方网站下载 Spark-YARN 历史服务器。

2. 配置 Spark-YARN 历史服务器

创建一个 spark-defaults.conf 文件并添加以下配置：

spark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider
spark.history.fs.logDirectory=hdfs://<YARN-MASTER>:8020/logs/spark/logs
spark.history.ui.port=18080

其中，<YARN-MASTER> 是 YARN 的主节点地址。

3. 配置 YARN 日志聚合

在 yarn-site.xml 文件中添加以下配置：

<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>2592000</value>
</property>

其中，yarn.log-aggregation-enable 配置启用 YARN 日志聚合，yarn.log-aggregation.retain-seconds 配置聚合后的日志保留时间。

4. 启动 Spark-YARN 历史服务器

使用以下命令启动 Spark-YARN 历史服务器：

./sbin/start-history-server.sh

5. 访问 Spark-YARN 历史服务器

访问 http://<history-server>:18080，其中，<history-server> 是 Spark-YARN 历史服务器的地址。

在 Spark-YARN 历史服务器的网页中可以查看 Spark 应用程序的历史记录和性能指标。