分段Mini-Cube并行处理:高维层次聚集Cube创建与存储新方法

需积分: 5 1 下载量 169 浏览量 更新于2024-08-11 收藏 1.22MB PDF 举报
"高维层次聚集Cube并行创建与存储方法 (2006年)" 本文主要探讨了在大数据分析背景下,如何高效地处理高维层次聚集Cube(也称为多维立方体)的问题。作者提出了一个创新性的解决方案,即通过将高维Cube划分为多个低维立方体Mini-Cube,并采用并行处理技术来创建和存储这些Mini-Cube及其聚集Cuboids。这种方法旨在解决在线分析处理(OLAP)中的海量数据存储和查询效率问题。 传统的Cube创建方法主要有两种:FullCube完全创建和PartialCube部分创建。FullCube方法会预先计算所有可能的Cuboids,虽然全面但对存储需求高且创建过程耗时;而PartialCube方法仅计算用户经常查询的部分Cuboids,节省了存储空间但可能增加计算复杂性。相比之下,基于分段Mini-Cube的并行处理方法在两者之间找到了平衡。 在该方法中,高维Cube被分解为多个低维的Mini-Cube,每个Mini-Cube代表数据的一个子集。通过并行处理,可以同时处理这些Mini-Cube,大大加快了创建速度。此外,由于数据的分段共享,即使在数据增量更新时,也只需对发生变化的部分进行处理,减少了维护成本。这种方法的优越性在于能够在保持响应速度的同时,有效减少存储需求和计算时间。 理论分析和实验结果显示,与传统的Cube创建方法相比,基于分段Mini-Cube的并行处理方法在性能上有显著提升。这不仅体现在Cube的创建速度上,还体现在对大规模数据集的查询效率上。因此,这种技术对于处理高维OLAP系统的海量数据存储和查询具有重要的实际应用价值。 论文关键词包括高维层次聚集Cube、分段Mini-Cube以及并行处理,这些关键词反映了研究的核心内容。该研究属于计算机科学与工程领域的自然科学研究,特别关注数据库管理、数据仓库和OLAP技术的优化。 这篇2006年的研究为高维数据处理提供了一种新的策略,通过并行化和细分数据结构,实现了高效的数据分析和查询。这一方法对于处理现代大数据环境下的复杂分析任务具有重要的参考意义,特别是在需要快速响应和高效存储的OLAP系统中。