Spark UI 有什么属性配置
时间: 2024-04-22 14:25:55 浏览: 247
Spark UI 可以通过 Spark 配置文件($SPARK_HOME/conf/spark-defaults.conf)或 SparkConf 对象中的属性进行配置。以下是一些常用的属性:
1. `spark.ui.reverseProxy`:是否启用反向代理。默认值为 false。
2. `spark.ui.reverseProxyUrl`:反向代理 URL。如果启用了反向代理,则必须设置此属性。
3. `spark.ui.reverseProxySecure`:反向代理是否启用了 HTTPS。默认值为 false。
4. `spark.ui.reverseProxyRouteMap`:反向代理路径映射。用于将 Spark UI 映射到反向代理的路径。例如:
```
spark.ui.reverseProxyRouteMap /sparkui /myapp/sparkui
```
将 Spark UI 映射到反向代理路径 /myapp/sparkui。
5. `spark.ui.killEnabled`:是否允许在 Spark UI 中杀死任务。默认值为 true。
6. `spark.ui.retainedJobs` 和 `spark.ui.retainedStages`:保留的作业和阶段的最大数量。默认值为 1000。
7. `spark.ui.reverseProxyHeaderPreserveHost`:是否保留反向代理请求中的 Host 头。默认值为 true。
8. `spark.ui.reverseProxyHeaderPreserveScheme`:是否保留反向代理请求中的 Scheme 头。默认值为 true。
9. `spark.ui.reverseProxyHeaderPreserveXForwardedFor`:是否保留反向代理请求中的 X-Forwarded-For 头。默认值为 true。
10. `spark.ui.reverseProxyHeaderPreserveXForwardedProto`:是否保留反向代理请求中的 X-Forwarded-Proto 头。默认值为 true。
这些属性可以通过 SparkConf 对象的 `set` 方法进行设置,例如:
```
val conf = new SparkConf()
conf.set("spark.ui.reverseProxy", "true")
conf.set("spark.ui.reverseProxyUrl", "http://example.com/myapp")
```
或者在 Spark 配置文件中进行设置,例如:
```
spark.ui.reverseProxy=true
spark.ui.reverseProxyUrl=http://example.com/myapp
```
阅读全文