并行计算优化:表面-容积效应与重复计算策略

需积分: 16 79 下载量 165 浏览量 更新于2024-08-10 收藏 4.7MB PDF 举报
"该资源是一本关于并行计算的书籍,名为《并行计算——结构·算法·编程(修订版)》,由陈国良编著,属于高等教育出版社的面向21世纪课程教材。本书深入探讨了并行计算的硬件基础、核心算法设计以及软件支持,内容涵盖并行计算机结构模型、并行算法设计策略、并行数值计算算法和并行程序设计。书中特别提到了增加粒度的概念,分析了表面-容积效应和重复计算在优化并行性能中的作用。" 正文: 并行计算是现代高性能计算领域的重要研究方向,它通过将大型计算任务分解为多个小任务,利用多处理器或分布式计算资源同时进行处理,以显著提升计算效率。本书中,陈国良教授详细阐述了并行计算的多个关键方面。 在并行计算的设计过程中,增加粒度是一个重要的策略。粒度指的是任务被划分的大小,粒度细化意味着更多的任务可以并行执行。然而,过于细化的粒度可能会增加通信成本和任务管理开销。表面-容积效应指出,当每个任务的通信伙伴较少时,增加粒度可以减少总的通信次数和通信量。这是因为任务的通信需求与其操作子域的表面积成比例,而计算需求则与子域的容积成比例。在高维问题中,增加粒度通常更有效,因为它相对减少表面积,从而降低通信相对于计算的比例。 另一方面,重复计算(冗余计算)是一种策略,通过接受额外的计算来减少通信需求。例如,在二叉树上的求和操作中,通过在每个处理器上重复计算部分结果,可以减少通信次数,从而提高整体效率。这种策略适用于某些特定情况,但不是所有情况下都适用,因为它可能导致计算资源的浪费。 书中还涉及了并行计算的硬件基础,如对称多处理机(SMP)、大规模并行处理机(MPP)、机群系统等,并行计算的性能评测方法,以及并行程序设计的基础,如共享存储和分布存储系统,并行编程环境和工具。此外,书中还详细讨论了并行算法设计策略和技术,以及特定的并行数值计算算法,如矩阵运算、线性方程组求解和快速傅里叶变换。 这本书适合计算机及相关专业的本科高年级学生和研究生作为教材,同时也可供从事计算科学研究和工程的研究生和科技人员参考。通过学习,读者能够掌握并行计算的基本概念、设计原则和实用技术,了解并行计算领域的最新进展。