Morsel-Driven并行处理：NUMA意识查询的评估框架

随着现代计算机架构的发展，多核时代的并行查询执行面临着两个关键挑战。首先，为了充分利用众多核心带来的性能提升，查询任务必须在数百个线程之间均匀分布，然而，这在实践中并非易事。由于现代异步核心的复杂性，即使拥有精确的数据统计，将工作负载公平地分配也是一个难题。这就导致了现有基于“计划驱动”并行性的方法遭遇了负载均衡和上下文切换瓶颈，无法有效扩展。 第二个问题在于许多核心架构中的内存控制器的分散化，引发了非均匀内存访问（Non-Uniform Memory Access，NUMA）现象。在这样的情况下，数据访问速度会受到不同内存区域之间性能差异的影响，从而影响整体查询性能。 针对这些问题，我们提出了一种名为“morsel-driven”（碎块驱动）的查询执行框架。这个框架的核心思想是将调度细化为运行时的细粒度任务，并且设计为NUMA感知的，能够动态适应硬件特性。在这个框架下，查询处理被分解为一系列小的、可独立执行的“morsels”，每个morsel专注于处理部分数据和计算，同时考虑内存访问的局部性原则。 在morsel-driven框架中，工作负载分配更加灵活，可以实时根据硬件状态进行调整，避免了传统方法中的负载不平衡问题。此外，由于任务粒度较小，上下文切换的开销也得到了显著降低，提高了整体执行效率。通过与NUMA架构的紧密集成，框架能够优化内存访问路径，减少跨NUMA域的数据移动，从而进一步提高性能。 为了评估这个新框架的效果，我们建立了一个全面的评价框架，它既考虑了查询的执行时间，又关注了内存访问的性能。通过实验研究，我们展示了morsel-driven方法在多个基准测试和实际应用中的优势，证明了其在多核环境中实现高效、可扩展和NUMA友好的并行查询执行的能力。 总结来说，morsel-driven query execution framework 是一个新颖的解决方案，它解决了当前多核架构下的并行查询面临的负载均衡、上下文切换和内存访问优化等问题，为高性能查询执行在未来的许多核心计算系统中提供了新的可能。