SQLonHadoop技术解析：Hive与Impala的架构对比

"这篇文章主要探讨了SQL on Hadoop领域中主要采用的技术，通过对比不同的系统，如Hive、Impala，以及提及SparkSQL、Presto、TAJO等，分析了两种主要架构：基于运行时框架和MPP（大规模并行处理）架构。文章并未深入讨论商业产品如HAWQ或成熟度较低的开源方案Apache Drill。" 在SQL on Hadoop的世界里，Hive是最早被广泛采用的系统，它基于Hadoop的MapReduce框架构建查询引擎。然而，随着对交互式查询需求的增加，出现了更多针对性能优化的解决方案。Impala便是其中之一，它的设计灵感来源于传统的关系数据库MPP架构，强调内存中的计算以提高性能。 MPP架构的系统，如Impala和Presto，通常比基于运行时框架的系统表现更优，主要体现在以下几个方面： 1. **DAG（有向无环图）与MR（MapReduce）：** MPP架构的系统能够避免中间结果写入磁盘，从而减少了I/O操作，实现了连续计算。 2. **流水线计算：** 结果在上游阶段产出后立即传递，减少了延迟。 3. **并行处理：** 数据被分割并在多台机器上并行处理，提高了效率。 4. **内存计算：** 数据尽可能地保留在内存中，减少了磁盘访问，提升了速度。 然而，Hive代表的基于现有计算模型的方法并非没有价值。例如，它能够利用Hadoop生态系统的灵活性，适应大规模数据处理，并且与多种数据源兼容。此外，Hive支持复杂的查询和数据转换，适合批量处理任务，而不仅仅局限于交互式查询。 SparkSQL是另一个值得一提的系统，它结合了Spark的DAG计算模型和SQL接口，提供了比Hive更快的响应时间，但仍然属于基于运行时框架的类别，不是完整的MPP实现。 SQL on Hadoop领域的技术选择取决于具体的需求和场景。Hive适用于大规模离线处理，而Impala、Presto等MPP架构的系统则更适合实时或近实时的查询。每个系统都有其独特的优势和适用范围，用户应根据业务需求来选择最合适的解决方案。