Spark Core、Spark SQL、Spark Structured Streaming、MLlib、GraphX、SparkR、PySpark、Spark JobServer之间的依赖关系是什么
时间: 2023-12-02 16:05:33 浏览: 188
Spring包的依赖关系
Spark Core 是 Spark 的核心组件,是其他所有 Spark 组件的基础。Spark SQL、Spark Structured Streaming、MLlib、GraphX、SparkR、PySpark 都是基于 Spark Core 构建的组件,其中 Spark SQL、Spark Structured Streaming、MLlib、GraphX 都依赖于 Spark Core。SparkR 和 PySpark 是 Spark 提供的与 R 和 Python 语言集成的接口,也是基于 Spark Core 构建的。
Spark JobServer 是一个独立的 Spark 应用程序,提供了一种将 Spark 应用程序部署为 REST API 的方式。Spark JobServer 依赖于 Spark Core 和 Spark SQL,但与 Spark Structured Streaming、MLlib、GraphX、SparkR、PySpark 没有直接关系。
阅读全文