iQAN：多核架构上的高效向量搜索与查询内检索优化

"本文介绍了在多核架构上实现快速准确向量搜索和高效查询内检索的iQAN算法，探讨了可扩展性挑战，并展示了在不同规模数据集上的优秀性能表现。" 向量搜索是人工智能领域的一个重要技术，特别是在处理非结构化数据如图像、文本和视频时，它通过神经网络将数据转化为高维向量表示，然后基于向量间的距离进行搜索。随着神经嵌入模型的发展，向量搜索已成为构建基于语义的搜索系统的核心。然而，如何在多核架构上最大化其性能并应对可扩展性挑战，仍是当前研究的焦点。 iQAN（内部查询并行加速的向量搜索算法）是针对这一问题提出的一种解决方案。它深入分析了现有系统在多核环境下的扩展瓶颈，识别出系统层面和算法层面的问题。iQAN引入了一组优化措施，旨在提高搜索收敛性、减少冗余计算，并降低同步开销，这些都是影响多核架构性能的关键因素。 实验证明，iQAN在实际世界数据集上展现出显著的性能提升。相比于最先进的顺序基线，iQAN在延迟方面降低了37.7%至76.6%，数据集规模从100万到1亿不等。此外，随着图的大小增加或准确性要求提高，iQAN的可扩展性表现出色，其在20亿规模数据集上的性能提升可达16.0倍，即使在64个内核的情况下也是如此。 iQAN的关键词包括近似最近邻搜索、基于图的搜索方法、向量搜索和查询内并行。这些关键词反映了算法的核心特点，即利用图结构优化搜索过程，并通过并行化策略提升效率。该工作受到“信息系统”和“辅助数据库搜索”这两个计算机科学领域的CCS概念的影响，表明其在信息检索和大数据处理中有广泛应用前景。 iQAN为解决多核架构上的向量搜索和查询效率问题提供了新思路，通过克服可扩展性挑战，提高了大规模数据集上的搜索性能，有望对涉及向量搜索的AI应用产生深远影响。这项工作遵循知识共享署名国际4.0许可协议，鼓励进一步的研究和创新。