Spark四大组件是什么
时间: 2023-11-27 09:02:37 浏览: 79
大数据组件 Spark 面试题 + Spark 高频面试题
5星 · 资源好评率100%
Spark四大组件包括:
1. Spark Core:Spark的核心组件,提供了分布式任务调度、内存管理、容错等基本功能,其他组件都是基于Spark Core开发的。
2. Spark SQL:Spark的SQL查询引擎,支持SQL查询和DataFrame API,可以将结构化数据以类似于SQL的方式进行查询和处理。
3. Spark Streaming:Spark的流处理组件,支持实时数据处理和批处理,并提供了对多种数据源的支持。
4. MLlib:Spark的机器学习库,提供了分布式的机器学习算法和工具,包括分类、回归、聚类等算法。
阅读全文