spark-yarn安装配置和历史服务器的配置

1. Spark-YARN安装配置：

Step 1：安装Hadoop
首先要安装Hadoop，因为Spark需要依赖Hadoop的YARN框架来进行资源管理和任务调度。可以参照Hadoop官网的安装文档进行安装。

Step 2：下载Spark
从Spark官网下载最新的Spark版本，解压缩到一个目录下。

Step 3：配置Spark环境变量
在Spark的安装目录下，进入conf目录，将spark-env.sh.template文件重命名为spark-env.sh，然后打开该文件，添加下列配置：

export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_HOST=<master_ip_address>
export SPARK_WORKER_CORES=<number_of_cores_per_worker>
export SPARK_WORKER_MEMORY=<memory_per_worker>

其中，HADOOP_CONF_DIR指定Hadoop的配置文件目录，SPARK_MASTER_HOST指定Spark的master节点地址，SPARK_WORKER_CORES指定每个worker节点的CPU核数，SPARK_WORKER_MEMORY指定每个worker节点的内存大小。

Step 4：启动Spark集群
在Spark的安装目录下，进入sbin目录，执行以下命令启动Spark集群：

./start-all.sh

这会启动Spark的master节点和worker节点。

Step 5：测试Spark集群
在Spark的安装目录下，进入bin目录，执行以下命令：

./spark-shell

这会启动Spark的命令行界面，可以在其中输入一些Spark代码进行测试。

2. 历史服务器的配置：

Spark的历史服务器是一个Web界面，可以显示Spark应用程序的历史记录和统计信息。要配置Spark的历史服务器，需要按照以下步骤进行操作：

Step 1：启用Spark的事件日志
在Spark的安装目录下，进入conf目录，打开spark-defaults.conf文件，添加以下配置：

spark.eventLog.enabled true
spark.eventLog.dir file:/tmp/spark-events

这会启用Spark的事件日志，并将日志保存在/tmp/spark-events目录下。

Step 2：启动Spark历史服务器
在Spark的安装目录下，进入sbin目录，执行以下命令启动Spark历史服务器：

./start-history-server.sh

这会启动Spark的历史服务器。

Step 3：访问Spark历史服务器
在浏览器中输入以下地址，即可访问Spark历史服务器的Web界面：

http://<server_ip_address>:18080

其中，server_ip_address是Spark历史服务器所在机器的IP地址。

Step 4：查看Spark应用程序的历史记录和统计信息
在Spark历史服务器的Web界面中，可以查看Spark应用程序的历史记录和统计信息。可以选择要查看的应用程序，然后查看其详细信息、执行计划、任务列表等信息。