cdh6.3.2启动spark提示The configuration key 'spark.history.fs.update.interval.seconds' has been deprecated as of Spark 1.4 and may be removed in the future. Please use the new key 'spark.history.fs.update.interval' instead.
时间: 2024-03-28 22:37:14 浏览: 92
这是一个警告提示,意思是你正在使用一个已经被废弃的配置项'spark.history.fs.update.interval.seconds',建议你使用新的配置项'spark.history.fs.update.interval'代替它。这个警告是由于你使用的Spark版本较老导致的,建议你升级到更高版本的Spark以解决这个问题。
相关问题
cdh启动spark提示The configuration key 'spark.history.fs.update.interval.seconds' has been deprecated as of Spark 1.4 and may be removed in the future. Please use the new key 'spark.history.fs.update.interval' instead.
这是因为在Spark 1.4及以后版本中,'spark.history.fs.update.interval.seconds'这个配置键已被弃用,并可能在将来被删除。因此,建议您改用新的键'spark.history.fs.update.interval'。这个新的键没有时间单位,而是以毫秒为单位指定更新间隔。您可以在启动Spark时使用--conf选项来设置该键的值,例如:
```
./sbin/start-history-server.sh --conf spark.history.fs.update.interval=60000
```
这将设置Spark历史服务器每60秒更新一次。
cdh6.3.2启动spark提示Failed to bind HistoryServer java.io.IOException: /run/cloudera-scm-agent/process/342-spark_on_yarn-SPARK_YARN_HISTORY_SERVER is a directory
这个问题可能是由于 Spark 历史服务器的目录路径设置错误导致的。你可以尝试以下步骤来解决这个问题:
1. 在 Cloudera Manager 中停止 Spark 服务。
2. 进入 Spark 的配置页面,找到“Spark on YARN”的“配置属性”。
3. 在“高级”选项卡中,找到“历史服务器目录”属性。
4. 确保此属性的值是一个文件路径,而不是一个目录路径。如果是目录路径,请将其更改为一个文件路径。
5. 保存更改,然后重新启动 Spark 服务。
如果问题仍然存在,请检查所配置的历史服务器目录是否存在,并且 Spark 用户是否有足够的权限访问该目录。
阅读全文