大规模平台上的三维并行分层矩阵乘法优化技术

"这篇论文提出了一种针对大规模平台的大规模3D并行分层可扩展矩阵乘法的递阶优化方法。通过对可扩展矩阵乘法（SMM）算法的枢轴行和枢轴列通信进行研究，利用分层策略将二维计算转化为三维计算，实现了矩阵乘法的并行优化，称为HSMM。该方法通过矩形群划分在更高级别上对网格进行组织，设计了集群内和集群间的通信过程。论文进行了理论分析，对HSMM算法的通信成本进行了预测，并推导了选择最佳集群数量的方法。在Grid5000和BlueGene/P测试平台上进行实验，结果显示提出的算法在执行时间和通信时间上均优于传统算法，证实了算法的有效性和理论分析的准确性。关键词包括大规模平台、并行计算、矩阵乘法和递阶优化。" 本文是关于提高大规模并行计算环境下矩阵乘法效率的研究。矩阵乘法是许多科学计算和数据分析任务的基础，尤其是在高性能计算领域。传统的二维并行化方法在处理大规模数据时可能会遇到通信开销和负载不平衡的问题。为此，研究者提出了一种新的递阶优化方法，名为HSMM，它基于SMM算法，并引入了三维计算的概念。 HSMM算法的关键在于其分层策略。首先，它在更高维度上对计算网格进行矩形群划分，这有助于减少数据传输和提高计算局部性。通过这种方式，算法能够更好地适应大规模平台的结构，从而实现更高效的并行计算。此外，算法还详细设计了集群内的通信模式和集群间的通信流程，以最小化通信延迟并最大化计算吞吐量。 理论分析部分，研究者对HSMM的通信成本进行了深入探讨，根据不同情况预测了成本，并提供了选择最优集群数量的依据。这一部分的贡献在于为实际应用提供了指导，帮助确定最合适的系统配置以达到最佳性能。 实验部分，HSMM算法在两个不同的高性能计算平台上——Grid5000和BlueGene/P——进行了测试。实验结果证明，HSMM不仅在执行时间上有显著优势，而且在通信时间上也优于其他算法，表明该算法能够在实际环境中有效地减少计算时间，提高计算效率。 这项研究为大规模并行计算环境下的矩阵乘法优化提供了一个创新的解决方案，对于提升大规模数据处理的效率具有重要的理论和实践意义。其成果可能对并行计算、高性能计算以及依赖于矩阵运算的诸多领域产生深远影响，如机器学习、大数据分析、数值模拟等。