启动spark提示The configuration key 'spark.history.fs.update.interval.seconds' has been deprecated as of Spark 1.4 and may be removed in the future. Please use the new key 'spark.history.fs.update.interval' instead.
时间: 2024-03-27 07:37:11 浏览: 8
这个提示是告诉你,`spark.history.fs.update.interval.seconds`这个配置键在Spark 1.4以后已经被弃用了,可能在将来的版本中会被移除。建议你使用新的键`spark.history.fs.update.interval`来代替它。这个键是用来设置Spark历史服务器从文件系统更新应用程序历史信息的时间间隔。你可以在`spark-defaults.conf`配置文件中添加以下行来设置:
```
spark.history.fs.update.interval 10s
```
这将设置历史服务器每隔10秒从文件系统更新应用程序历史信息。
相关问题
cdh启动spark提示The configuration key 'spark.history.fs.update.interval.seconds' has been deprecated as of Spark 1.4 and may be removed in the future. Please use the new key 'spark.history.fs.update.interval' instead.
这是因为在Spark 1.4及以后版本中,'spark.history.fs.update.interval.seconds'这个配置键已被弃用,并可能在将来被删除。因此,建议您改用新的键'spark.history.fs.update.interval'。这个新的键没有时间单位,而是以毫秒为单位指定更新间隔。您可以在启动Spark时使用--conf选项来设置该键的值,例如:
```
./sbin/start-history-server.sh --conf spark.history.fs.update.interval=60000
```
这将设置Spark历史服务器每60秒更新一次。
cdh6.3.2启动spark提示The configuration key 'spark.history.fs.update.interval.seconds' has been deprecated as of Spark 1.4 and may be removed in the future. Please use the new key 'spark.history.fs.update.interval' instead.
这是一个警告提示,意思是你正在使用一个已经被废弃的配置项'spark.history.fs.update.interval.seconds',建议你使用新的配置项'spark.history.fs.update.interval'代替它。这个警告是由于你使用的Spark版本较老导致的,建议你升级到更高版本的Spark以解决这个问题。