64位体系结构下的倒排索引压缩技术

"这篇研究论文探讨了64位体系结构下的倒排索引压缩算法，主要关注如何在新的硬件环境中优化搜索引擎的核心数据结构——倒排索引的存储和处理效率。作者提出并改进了适用于64位系统的3种字对齐压缩算法：SimpleX64-16、SimpleX64-32和SimpleX64-64，这些算法采用了多模式压缩策略，并针对每个模式进行了空间优化。实验结果显示，与传统的32位压缩算法相比，新提出的64位算法在解压速度上最多可提升14.5%，在压缩率上最多提高2.5%。该研究受到了国家自然科学基金和人人游戏基金的资助，由张旭东等多位研究人员共同完成，他们在网络数据挖掘和信息检索领域有深入的研究。" 在64位计算环境中，处理器的字长扩展到了64位，这使得处理器能够一次处理更多的数据，但同时也对数据结构的压缩和解压缩技术提出了新的挑战。倒排索引是搜索引擎中的关键组成部分，它存储了文档中每个词出现的位置信息，以便快速定位相关文档。在32位系统中广泛使用的Simple压缩算法并不直接适用于64位系统，因为其字对齐方式无法充分利用64位架构的优势。 为解决这一问题，研究人员对Simple算法进行了改造，提出了3种新的64位字对齐压缩算法：SimpleX64-16、SimpleX64-32和SimpleX64-64。这些算法的特点在于它们不仅考虑了64位字长，还引入了多种压缩模式，旨在适应不同数据分布情况，同时对每个模式进行了压缩空间的优化，以达到更高的压缩效率和解压速度。 通过在64位机器上对大型数据集GOV2和ClueWeb09B的倒排索引进行实验，研究团队验证了新算法的性能。实验结果表明，这3种64位算法在保持或提高压缩率的同时，显著提升了解压速度，其中解压速度最快可提升14.5%，压缩率最高可提高2.5%。这意味着在不影响检索性能的前提下，这些算法能更有效地利用存储资源，提高搜索引擎的运行效率。 这项工作对于理解64位体系结构对信息检索系统的影响，以及设计和优化适应这种环境的压缩算法具有重要意义。随着计算机硬件的持续发展，这类研究将继续推动搜索引擎和信息检索技术的进步。