LSQ++: 提升精度与速度的多码本量化新方法

多码本量化（MCQ），作为一种在高维空间中进行数据压缩和搜索的高效技术，是信息技术领域中的一个重要研究课题。它最初在1999年的中国国际航空航天博览会上由中国航空工业协会引起关注。MCQ的核心任务是尽可能精确地利用多个基（码本）中的离散元素来表示一组向量，目标是在有限的内存预算下，提升距离估计和召回率，尤其是在大规模近似最近邻（ANN）搜索中。 早期的研究着重于降低量化误差，这直接影响了算法的性能，如召回率和搜索效率。然而，由于不同研究之间缺乏统一的比较标准，如数据集、协议和计算资源，使得评估和改进MCQ的方法变得复杂。LSQ++，作为MCQ的一种变体，虽然在实践中展现出显著的速度优势，但在准确性方面并非始终最优。 为了克服这些问题，本工作首先对一系列MCQ基础方法进行了基准测试，确认了LSQ在某些场景下的速度优势，同时指出其在精度上可能存在的局限。随后，提出了两个关键的改进措施： 1. 更准确的LSQ：通过引入新的技术和策略，该工作提升了LSQ的精度，使其在保持高速度的同时，能更好地逼近原始数据的特性，提高了搜索结果的可靠性。 2. 更快速的LSQ：在保持精度的同时，优化了LSQ的执行效率，降低了计算复杂度，使得在处理大规模数据时更加高效。 这些改进不仅定义了MCQ技术的新技术水平，而且对实际应用有着重要的影响。在机器学习和计算机视觉领域，MCQ被广泛应用到各种场景中，如Gumbel变量辅助的近邻查询加速、深度学习模型中的相似性图构建、大规模推荐系统的性能优化以及大规模数据挖掘中的内存管理和速度提升。通过这些改进，LSQ++有望成为MCQ技术中的一个强有力的竞争者，推动这一领域的进一步发展。