spark-standalone模式的历史服务器怎么安装配置
时间: 2023-06-02 13:02:17 浏览: 106
spark之Standalone模式部署配置详解
5星 · 资源好评率100%
1. 下载Spark软件包并解压缩到本地目录。
2. 配置Spark环境变量,例如在.bashrc文件中添加以下内容:
```
export SPARK_HOME=/path/to/spark
export PATH=$SPARK_HOME/bin:$PATH
```
3. 安装Java JDK,并配置JAVA_HOME环境变量。
4. 配置Spark的历史服务器,打开$SPARK_HOME/conf目录下的spark-defaults.conf文件,添加以下内容:
```
spark.eventLog.enabled true
spark.eventLog.dir file:///path/to/eventlogdir
```
其中,eventlogdir为存储Spark事件日志的目录。
5. 启动Spark的历史服务器,运行以下命令:
```
$SPARK_HOME/sbin/start-history-server.sh
```
6. 在浏览器中访问http://localhost:18080,可以看到Spark的历史服务器界面,可以查看Spark应用程序的运行历史记录。
阅读全文