cdh启动spark提示The configuration key 'spark.history.fs.update.interval.seconds' has been deprecated as of Spark 1.4 and may be removed in the future. Please use the new key 'spark.history.fs.update.interval' instead.
时间: 2024-03-26 15:42:00 浏览: 10
这是因为在Spark 1.4及以后版本中,'spark.history.fs.update.interval.seconds'这个配置键已被弃用,并可能在将来被删除。因此,建议您改用新的键'spark.history.fs.update.interval'。这个新的键没有时间单位,而是以毫秒为单位指定更新间隔。您可以在启动Spark时使用--conf选项来设置该键的值,例如:
```
./sbin/start-history-server.sh --conf spark.history.fs.update.interval=60000
```
这将设置Spark历史服务器每60秒更新一次。
相关问题
cdh6.3.2启动spark提示The configuration key 'spark.history.fs.update.interval.seconds' has been deprecated as of Spark 1.4 and may be removed in the future. Please use the new key 'spark.history.fs.update.interval' instead.
这是一个警告提示,意思是你正在使用一个已经被废弃的配置项'spark.history.fs.update.interval.seconds',建议你使用新的配置项'spark.history.fs.update.interval'代替它。这个警告是由于你使用的Spark版本较老导致的,建议你升级到更高版本的Spark以解决这个问题。
spark2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel下载
下载spark2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel的步骤如下:
1. 打开浏览器,进入Cloudera官方网站(https://www.cloudera.com/)。
2. 在网站上找到“产品与服务”或类似的选项,并点击进入。
3. 在产品与服务页面,找到Spark分布式计算框架,点击进入Spark的相关页面。
4. 在Spark页面中,找到版本2.4.0的下载选项,并点击进入。
5. 在Spark 2.4.0版本的下载页面,浏览列表,找到适用于您操作系统的版本,这里是cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel。
6. 点击相应版本的下载链接,并等待下载完成。
请注意,下载过程可能需要登录Cloudera网站或提供一些额外的信息。确保您完成了所有必需的步骤,并遵循官方网站的指示来全面下载spark2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel。