spark on k8s 必须要装hdfs吗
时间: 2023-06-16 22:02:46 浏览: 141
spark-submit cluster模式时driver-class-path支持hdfs路径
5星 · 资源好评率100%
不是必须要安装HDFS,但是HDFS与Spark集成可以提供更好的数据管理和处理能力。如果您的数据存储在HDFS上,则可以直接在Spark中使用它们,而无需将它们复制到其他地方。此外,HDFS还提供了高可用性和数据复制等功能,可以提高数据的可靠性和可用性。但是,如果您的数据存储在其他地方,例如AWS S3或Azure Blob Storage等对象存储中,则可以使用Spark的相应插件来访问这些数据,而无需安装HDFS。
阅读全文