hive spark

Hive是一个用于处理和分析大规模结构化数据的数据仓库工具。它提供了通过SQL读写和管理分布式存储中的数据。Hive的默认引擎是MR（MapReduce），但在实际开发过程中，MR的执行效率较低，不能满足开发需求，因此通常需要更换Hive的引擎。常用的Hive引擎包括MR、Tez和Spark。

Tez是Hive的一个运行引擎，相比于MR，它具有更高的性能。当使用MR引擎执行程序时，每个MR作业之间不能相互使用数据，需要将中间结果持久化写到HDFS，并从HDFS中读取依赖结果。这导致了多次磁盘IO，效率较低。而Tez引擎可以更高效地执行程序。

Spark也是Hive的一个引擎选项。Spark引擎使用内存计算，具有更高的计算速度和较低的延迟。它支持实时计算和交互式查询，适用于需要更快速的数据分析和处理的场景。