iQAN：多核架构上的高效内并行向量搜索提升性能

iQAN是一项针对多核架构设计的高效查询内并行性向量搜索算法，它在当前人工智能领域的热门应用——近似最近邻搜索（Approximate Nearest Neighbor Search, ANNS）中展现了显著的优势。ANNS在处理大规模非结构化数据，如图像、文本和视频，通过神经网络生成的高维向量表示中起着关键作用。这些向量搜索通常涉及到海量数据集，从百万到数十亿不等，因此算法的性能和可扩展性对于提升整个系统的效率至关重要。 本文首先指出，尽管ANNS的性能对许多任务至关重要，但现有基于图的搜索方法在多核架构上的可扩展性仍存在瓶颈。作者通过深入分析，揭示了系统层面和算法层面的几个扩展性挑战，包括如何有效利用多核资源、避免冗余计算以及降低同步开销。针对这些问题，他们提出了iQAN算法，这不仅包含了优化的并行搜索策略，还设计了一系列旨在提高收敛速度、减少计算浪费和减轻通信开销的技术。 实验结果表明，iQAN在大规模数据集上表现卓越，对比最先进的顺序基线，能够在百万到亿级别的数据集上实现显著的延迟降低，具体表现为37.7倍和76.6倍的加速。当处理更大的图规模或追求更高的准确性时，iQAN显示出极佳的可扩展性，即使在20亿规模的数据集上，也能提供高达16.0倍的速度提升，同时支持多达64个核心的并行计算。 iQAN的成功归功于其对查询内并行性的有效利用，这使得它能够在多核环境中充分利用硬件资源，从而在复杂的数据搜索任务中展现出优越的性能。论文还提到了CCS概念分类，即信息系统中的最近邻搜索和带有辅助数据库的搜索，以及关键词——近似最近邻搜索、基于图的向量搜索和查询内并行性，这些都突出了研究的焦点和意义。 iQAN为解决多核架构上的ANNS瓶颈问题提供了创新的解决方案，对于推动这一领域的发展，尤其是在处理大规模数据和提升实时搜索性能方面，具有重要的理论和实践价值。