Hive on Spark和Spark on Hive区别
时间: 2024-05-31 17:13:39 浏览: 105
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
Hive on Spark和Spark on Hive是两个不同的概念。
Hive on Spark是指将Hive作为数据仓库和查询引擎,使用Spark作为计算引擎来加速查询和分析。这种架构下,Hive仍然是主要的查询引擎,而Spark则负责加速查询和执行更复杂的分析任务。
而Spark on Hive是指将Spark作为计算引擎,使用Hive作为元数据存储和查询语言,来执行数据处理和分析任务。这种架构下,Spark负责数据处理和计算,而Hive则负责管理元数据和提供SQL查询功能。
因此,两者的区别在于主要组件的不同。在Hive on Spark架构中,Hive仍然是主要的查询引擎,而Spark作为计算引擎来加速查询和分析。而在Spark on Hive架构中,Spark是主要的计算引擎,而Hive则负责管理元数据和提供SQL查询功能。
阅读全文